AobaZeroで遊ぼう11(レーティング集計プレイアウト数について)

随分投入した割にまとめてなかったので本日(2020.3.21)付けで集計しました。

floodgateのコピペが多く見づらいですが,日時が経過すると変動するので記録の意味でもそのまま残してあります。結論を急ぐ方は下へw

 

本家投入分(p800)

AobaZero_w823_n_p800 3068 37 31 0.544 2019-12-17 2923
AobaZero_w803_n_p800 3029 30 26 0.534 2019-11-27 2884
AobaZero_w863_n_p800 3017 65 58 0.528 2020-01-23 2872
AobaZero_w888_n_p800 3014 97 97 0.500 2020-02-21 2869
AobaZero_w873_n_p800 3007 62 82 0.429 2020-02-03 2862
AobaZero_w813_n_p800 2991 24 32 0.432 2019-12-07 2846
AobaZero_w858_n_p800 2987 51 57 0.474 2020-01-18 2842
AobaZero_w898_n_p800 2973 103 133 0.437 2020-03-04 2828
AobaZero_w848_n_p800 2969 35 43 0.447 2020-01-08 2824
AobaZero_w798_n_p800 2967 29 27 0.518 2019-11-23 2822
AobaZero_w828_n_p800 2965 38 40 0.486 2019-12-22 2820
AobaZero_w868_n_p800 2963 60 70 0.460 2020-01-29 2818
AobaZero_w788_n_p800 2960 18 23 0.442 2019-11-13 2815
AobaZero_w843_n_p800 2960 31 46 0.401 2020-01-04 2815
AobaZero_w878_n_p800 2955 77 99 0.439 2020-02-09 2810
AobaZero_w908_n_p800 2948 95 147 0.394 2020-03-15 2803
AobaZero_w833_n_p800 2947 37 38 0.492 2019-12-27 2802
AobaZero_w818_n_p800 2932 25 24 0.516 2019-12-12 2787
AobaZero_w913_n_p800 2931 134 126 0.515 2020-03-21 2786
AobaZero_w893_n_p800 2925 99 109 0.474 2020-02-27 2780
AobaZero_w778_n_p800 2923 18 19 0.491 2019-11-05 2778
AobaZero_w808_n_p800 2922 34 31 0.524 2019-12-02 2777
AobaZero_w883_n_p800 2913 93 93 0.502 2020-02-15 2768
AobaZero_w903_n_p800 2907 100 148 0.402 2020-03-10 2762
AobaZero_w838_n_p800 2906 36 40 0.475 2019-12-31 2761
AobaZero_w783_n_p800 2905 23 22 0.514 2019-11-09 2760
AobaZero_w853_n_p800 2899 46 50 0.483 2020-01-13 2754
AobaZero_w793_n_p800 2895 28 25 0.528 2019-11-18 2750
AobaZero_w733_n_p800 2849 11 12 0.488 2019-10-02 2704
AobaZero_w718_n_p800 2841 11 8 0.562 2019-09-21 2696
AobaZero_w713_n_p800 2822 11 13 0.475 2019-09-17 2677
AobaZero_w708_n_p800 2805 15 17 0.475 2019-09-13 2660
AobaZero_w728_n_p800 2800 9 12 0.443 2019-09-28 2655
AobaZero_w773_n_p800 2798 19 16 0.532 2019-11-01 2653
AobaZero_w703_n_p800 2795 9 8 0.515 2019-09-06 2650
AobaZero_w723_n_p800 2787 11 8 0.565 2019-09-24 2642
AobaZero_w753_n_p800 2777 10 14 0.428 2019-10-17 2632
AobaZero_w768_n_p800 2771 14 20 0.409 2019-10-28 2626
AobaZero_w743_n_p800 2766 13 13 0.508 2019-10-10 2621
AobaZero_w698_n_p800 2766 6 10 0.401 2019-09-02 2621
AobaZero_w748_n_p800 2765 11 13 0.466 2019-10-13 2620
AobaZero_w688_n_p800 2731 8 6 0.582 2019-08-25 2586
AobaZero_w738_n_p800 2727 12 14 0.468 2019-10-06 2582
AobaZero_w763_n_p800 2716 15 15 0.497 2019-10-24 2571
AobaZero_w758_n_p800 2713 14 13 0.518 2019-10-20 2568

 

www.yss-aya.com

 

大変雑な見方をしますと現行の学習率にしてからのレートは概ね2900~3000と言ったところでしょうか。

 

うちから投入したもの(p400,CPU8スレッドによるもの)

AobaZero_w890_n_p400_t8 2862 120 115 0.509 2020-02-25 2717
AobaZero_w874_n_p400_t8 2855 102 123 0.454 2020-02-07 2710
AobaZero_w881_n_p400_t8 2826 136 163 0.456 2020-02-18 2681
AobaZero_w904_n_p400_t8 2805 112 170 0.398 2020-03-12 2660
AobaZero_w913_n_p400_t8 2789 86 127 0.404 2020-03-21 2644
AobaZero_w897_n_p400_t8 2772 122 179 0.406 2020-03-05 2627

 

現行の学習率のものしかありませんが,2772~2862の間にあります。

 

うちから投入したもの(p200,CPU4スレッドによるもの)

AobaZero_w859_n_p200_t4 2753 42 49 0.462 2020-01-18 2608
AobaZero_w881_n_p200_t4 2729 157 168 0.484 2020-02-18 2584
AobaZero_w836_n_p200_t4 2728 67 74 0.474 2020-01-02 2583
AobaZero_w866_n_p200_t4 2718 101 121 0.455 2020-01-30 2573
AobaZero_w814_n_p200_t4 2715 17 18 0.487 2019-12-07 2570
AobaZero_w874_n_p200_t4 2710 94 137 0.407 2020-02-07 2565
AobaZero_w913_n_p200_t4 2700 97 126 0.435 on line 2555
AobaZero_w846_n_p200_t4 2692 103 123 0.456 2020-01-14 2547
AobaZero_w821_n_p200_t4 2687 39 40 0.495 2019-12-17 2542
AobaZero_w890_n_p200_t4 2686 101 147 0.406 2020-02-25 2541
AobaZero_w806_n_p200_t4 2678 52 57 0.478 2019-12-04 2533
AobaZero_w897_n_p200_t4 2658 131 186 0.415 2020-03-05 2513
AobaZero_w828_n_p200_t4 2651 61 67 0.477 2019-12-25 2506
AobaZero_w798_n_p200_t4 2649 39 39 0.499 2019-11-25 2504
AobaZero_w904_n_p200_t4 2646 104 177 0.369 2020-03-12 2501
AobaZero_w667_n_p200 2579 7 9 0.415 2019-08-13 2434
AobaZero_w667_n_p200_t4 2531 12 14 0.458 2019-08-13 2386
AobaZero_w690_n_p200_t4 2529 7 9 0.433 2019-08-27 2384
AobaZero_w729_n_p200_t4 2517 12 17 0.423 2019-09-30 2372
AobaZero_w699_n_p200_t4 2507 10 12 0.455 2019-09-04 2362
AobaZero_w717_n_p200_t4 2468 20 26 0.435 2019-09-25 2323
AobaZero_w706_n_p200_t4 2379 16 25 0.391 2019-09-13 2234

 

現行学習率のものとするとレートは2646~2753と言ったところ。

ちなみに,w667に関してはGPUも同時投入してレートに大差がないことを確認。マルチスレッドの方が諸事情でちょっと弱い。

 

floodgateはその投入タイミングで対戦相手が決まるため対戦数が少ない場合のレートは信頼性に欠けます。上記データは概ね200戦程度はされたものが大半ですので本件程度の評価には十分かと思います。

また,レート安定のために以下のようなものが投入されております。参考値として記します。

Krist_483_473stb_1000k 3246 1671 1544 0.520 2020-03-21 3101
elmo_WCSC27_479_1000k 3025 1788 2099 0.460 on line 2880
Krist_483_473stb_100k 2785 1859 2002 0.482 on line 2640
Yss1000k 2654 1616 2274 0.415 2020-03-21 2509
elmo_WCSC27_479_100k 2620 1548 2267 0.406 on line 2475
bona6_D10 2591 589 810 0.421 2020-01-20 2446
YSS 2445 264 508 0.342 2020-01-20 2300

 

ということで荒い話ですがp800で2900~3000,p400で2772~2862,p200で2646~2753となります。

以前にプレイアウト数が倍になるとレートが150~200くらい伸びることが期待できるとしていましたがもう少し小さいようです。

マルチスレッドによる低下を30~40と見積もって100~120くらいが適当な数値だろうと思われます。

本ネタのモチベーションは以下のツイート。現状でほぼ同じ位と同意しておきます。

 

  

上記の参考値にelmoおよびKristallweizenがありますが探索ノード数が10倍でレートがそれぞれ400および460ほどの差になっております。log10/log 2≒3.32ということで,こちらも計算量が倍になった時のレート差は120および138程度と荒く見積もれます。

この辺はこちらもご参考に!

yaneuraou.yaneu.com

 

---

追記:

最後のおまけ部分の意図はマシンパワーが上がった時のレート向上が大差無いとか同程度という意味です。MCTSの方がエレガントなアルゴリズムで伸びしろがあるように言われていましたがどうやらそうでもない気がしていたので確認してみたという感じです。やはり脅威というべきはGoogleのTPUですね。