福井大学大学院の研究報告だそうな。
http://www2.eng.u-fukui.ac.jp/wp-content/uploads/vol68_1-12.pdf
藤井聡太をネタにするのは個人的にどうでもいいのだがざっと目を通して気になった点があったのでメモしておく。
１．前置きの話
Webネタを引いて書かれているが元ネタは論文があるのでそちらを引用した方が大学の研究報告として適切に思う。
２．一致率計測はあまり意味がない
手が広い場面では７，８手が似たような評価値を取るケースも多いし，戦型によれば一直線な場合もある。一致率はあまり意味がなく，評価値の差をとる「平均悪手」で評価するのが適切であろう。
ShogiGUIで手動集計された旨記載されているので尚残念に思う。
http://www.yss-aya.com/20171013yama.pdf
引用するなら，将棋名人のレーティングと棋譜分析，ゲームプログラミングワークショップ2014論文集 (2014), 9-16, 2014-10-31
３．Hashが少ない
棋譜解析させるならせめて20GBは欲しいと以前から言っているところ，本件は60秒で1GBである。大半の探索が無駄になっている気がする。10秒で4GBの方が随分マシに思う。まぁ，人間の手を評価するには微差かもしれないが
４．リリース時期
恐らく一番致命的なことだが，各ソフトウェアは任意に入手可能であるし，プロ棋士が参考にしていることが知られているし近頃の棋譜解説はその話が無い日が無いと言っていいレベルである。また，Bonanzaおよび技巧についてはプロ棋士の棋譜をベースに機械学習が行われている。ということで相互影響が強くあるため時系列の関係が重要になる。可能なら間に2017年版のelmoを加えて欲しいくらいである。
要するに，各ソフトウェアとプロ棋士との相互影響を無視し独立的に取り扱った本件は非常に残念である。
違和感のあるところだけざっとリストにしただけなので特に否定的なつもりもない。最後の点など改善されると（恐らく学生さんの論文が）面白いことになるのではないかと思っている。
