まぐれ度の検証

え~っと,第5回電王トーナメントでは相当なまぐれってことになってます。

すっかりアレなんですが,選手権の方の準備も兼ねて「まぐれ度」を計測しておきました。

 

negishiroom.hatenablog.com

 

対戦相手は上記サイトを参考に公開されているものから,決勝に残った

えるも,はにわ,かっぱ,たぬき,よみた,と5つ選びました。

計測器はi9 7980XEで5分切れ負けにしてあります。(15時間100戦ペース)

ちょっと変則ですがponder入れたかったのでスレッド数を同数に比例配分。

相手のHash 8192,うちの調整は予選仕様の打ち切り。

各やねうら王エンジンは今後の方針を決める未来志向な意味で大会後公開された4.80を使用しました。

 

対よみた

対局数100 先手勝ち57(61%) 後手勝ち35(38%) 引き分け8
shot_gun 0.81
勝ち75(81%) 先手勝ち45(90%) 後手勝ち30(71%)
Yomita_kppt4.61
勝ち17(18%) 先手勝ち12(28%) 後手勝ち5(10%)

負け試合を3つほど見てみたけど、全部切れ負けてた(笑)

 
対えるも

対局数100 先手勝ち42(47%) 後手勝ち47(52%) 引き分け11
shot_gun 0.81
勝ち21(23%) 先手勝ち10(21%) 後手勝ち11(25%)
elmo.sdt5
勝ち68(76%) 先手勝ち32(74%) 後手勝ち36(78%)

 
対はにわ

対局数100 先手勝ち57(60%) 後手勝ち38(40%) 引き分け5
shot_gun 0.81
勝ち61(64%) 先手勝ち35(74%) 後手勝ち26(54%)
honeywaffle.sdt5
勝ち34(35%) 先手勝ち22(45%) 後手勝ち12(25%)

 
対たぬき

対局数100 先手勝ち54(56%) 後手勝ち41(43%) 引き分け5
shot_gun 0.81
勝ち22(23%) 先手勝ち14(29%) 後手勝ち8(16%)
tanuki.sdt5
勝ち73(76%) 先手勝ち40(83%) 後手勝ち33(70%)

 
対かっぱ

対局数100 先手勝ち48(51%) 後手勝ち45(48%) 引き分け7
shot_gun 0.81
勝ち19(20%) 先手勝ち9(20%) 後手勝ち10(20%)
qhapaq.sdt5
勝ち74(79%) 先手勝ち39(79%) 後手勝ち35(79%)

  

なんか結構切れ負けてるので,とりあえずこの計測はここまで。

elmoが上がってきたり,トーナメントが反対の山なら全然ダメだった感じ。

想定内とはいえ極端な相性問題がありますなぁ(笑)

切れ負け対策はフィッシャールールならなんとかなりそうだけど,

選手権のルールでは相性悪いチームを避けるのは不可能だから何かしないとねぇ。

年末年始で評価関数を完成させてないのが厳しい。

 

EPYC手に入れて,「POP TEAM EPYC」でエントリー出来なかったのも結構悔しい。

---

2/19 追記

その後のチェックで切れ負けの原因がなんとなく掴めました。sdt5で発生しなかった理由も含めて。

同時にやはり相性問題が極端出る理由と上記計測法ではやはり公平ですらないことも確認できました。ponder入れてHT有効でマシン内対戦させたら分かると思います。

別件で少し新しいアイデアが浮かんだので3月末までに実装して強くなればwcsc28の新ネタになると思いますが間に合うことやら。