最新ソフトで棋士の指し手一致率を調査した結果 2

[過去ﾛｸﾞ] 最新ソフトで棋士の指し手一致率を調査した結果 2 (1002ﾚｽ)
上下前次 1-新

このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索歴削→次ｽﾚ栞削→次ｽﾚ過去ﾛｸﾞﾒﾆｭｰ

6(7): ◆f7OmZ9ucu2 2019/08/25(日)16:09 ID:drQ8F6x8(3/16) AAS
次に相手一致率の算出の仕組を説明しておく
>>1でデータ数が一番少ない三浦九段を例にするとこんな仕組になっている
算出する度にこうした表にしているわけではないが、こうした原理で、三浦九段の一致率74.1%と相手一致率74.8%が算出されている
画像ﾘﾝｸ[png]:i.imgur.com

7(1): ◆f7OmZ9ucu2 2019/08/25(日)16:09 ID:drQ8F6x8(4/16) AAS
ほかにも説明が必要な箇所はあると思うが、とりあえず重要な点については説明が足りたのでないだろうか
ここで、テンプレごときを一端終了し気付いたことがあれば、また追加していきたい

8(2): 2019/08/25(日)16:21 ID:Ayy8DYu9(1/3) AAS
一致率ってソフトの最善手と一致する率のことなの？

Ａは最善が多かったけど大きな悪手を１回だけやる
Ｂは最善が多くなかったけど大きな悪手は１回も指さなかった

この場合Ｂが勝っても一致率はＡが上になっちゃう？
勝敗に直結する大きな悪手を指さない方が重要では？

9: ◆f7OmZ9ucu2 2019/08/25(日)16:31 ID:drQ8F6x8(5/16) AAS
>>8
大きな悪手を指さないほうが重要なのはその通りなんだけどね
だけど、プロ棋士は最善手と思って指している場合がほとんどなので、気付かなかった手を相手に指されてから自分が指した手が悪手だったことが分かるわけよ
だから、その手が大悪手になるか軽傷ですむかは結果論なんだな
つまり、1局だけなら色んなケースがあるけど、データ局数が増えるほど一致率が高い棋士より一致率が低い棋士のほうが悪手を多く指しているという結論になるんじゃないかな
大悪手の数にしても同じことだね

10: ◆f7OmZ9ucu2 2019/08/25(日)16:39 ID:drQ8F6x8(6/16) AAS
例えば、プロ棋士の対局を観戦してるとき、ソフトの評価値が出てくる
ソフトの最善手は簡単に指せるような手でないけど、それ以外の手はダメというようなことがしばしばある
そのときにソフトの最善手を指せる棋士はやっぱし強い棋士なんだな
一致率は棋士のこうした勝負の分かれ目に強いところを評価している側面もあるんじゃないかな

11: 2019/08/25(日)16:39 ID:Ayy8DYu9(2/3) AAS
「大悪手の少なさ」は調査する価値のある重要なものだと思ったんだけど
無理だったらいいよ

12: ◆f7OmZ9ucu2 2019/08/25(日)17:00 ID:drQ8F6x8(7/16) AAS
かなりムズいことは確かだね
大悪手の定義から、その大悪手がプロでも無理からぬ大悪手なのかプロにあるまじき大悪手なのか、本当に大悪手なのか解析が足りないだけなのではないのか等々、1局の解析を終える前に日が暮れてしまうんじゃないかな
神が解析したら負けた側には必ず負けを決定付けた大悪手があるわけで、そうした意味では大悪手率を調べることは勝率を調べることとあまり変わらないと思っているよ

13(1): 2019/08/25(日)17:06 ID:pGRg7V+g(1/2) AAS
そもそも最善もソフトによって変わるからねえ

14(3): 2019/08/25(日)17:23 ID:ZVP0Z3pa(1) AAS
最新ソフトとは言ってもソフトAで次善手と出た手がソフトBでは最善手ということはよくあると思う
対してソフトAで大悪手だった手がソフトBで最善手になることはほとんどないだろう
だからソフトの次善手は真の最善手である可能性もある手という意味で悪手とは明確に差があるしこれは結果論ではないと思う

15: ◆f7OmZ9ucu2 2019/08/25(日)17:24 ID:drQ8F6x8(8/16) AAS
これもテンプレにしておきますか

将棋は最善手を見逃したほうが大概負ける
最善手率が高ければ高いほど勝率がよくなる
本当の最善手率はわからないが、最強ソフトとの一致率を代用したらどうか
こうして、強さの指標として一致率を試すことになった
今年の対局で集計したのは880局で、そのうち一致率が高かった側が勝ったのが818局だった(勝率93%)
つまり、相手より一致率が低くて勝った例は7%しかない

また、60%未満の一致率で勝った例は3.6%しかない
急所で間違えなければ一致率40%でも勝てるようなことはないのだ
反対に、一致率80%台で負けたのは7%しかない
省4

16: 2019/08/25(日)17:28 ID:pGRg7V+g(2/2) AAS
これ見ると相手の最善率低いしやっぱり藤井は強い相手と多くやってないから
最善が指しやすいわけだ

17: 2019/08/25(日)17:39 ID:TwlR4oFB(1) AAS
最前だけでなく2番目3番目も正解にしないとな

18(2): 2019/08/25(日)17:55 ID:xw7W/nEQ(1) AAS
>>14
これだろ
一致率の欠点って調査に使ったソフトと棋風が似てる棋士だけ有利になるところじゃねーか？
特に今はソフトで研究するのが主流になってるから調査ソフトと同じソフトを研究で使ってる棋士と別のソフトを研究に使ってる棋士とで同じ強さでも一致率変わってくるんじゃねーの？
複数のソフトで調べて平均を取るとかするなら分かるんだけど
そうじゃないなら最善手-10くらいまでの手は別のソフトなら最善手の可能性ありとして扱いを変えたほうがいい
まあ調査が凄い面倒なことになりそうだからある程度は妥協するしかないんだろうけど

19: 2019/08/25(日)17:55 ID:Ayy8DYu9(3/3) AAS
試しに単純に評価値の下落の大きいものをチェックしてみる手はあるんじゃないか？
500点差の悪手を指した場合の勝率、1000点差の悪手を指した場合の勝率・・・
なんかをデータとして出していったら
何点差の悪手が大悪手としてふさわしいかも見えてくるんじゃないかと思う

それでも大変なのかもしれないけどｗ

20(5): ◆f7OmZ9ucu2 2019/08/25(日)17:55 ID:drQ8F6x8(9/16) AAS
>>14
その疑問はごもっともで以前からあったはず
ソフトの最善手との一致率を採用するのが良いのか、次善手を含めた広義の一致率のほうがいいのか
つまり、最善手だけにすると次善手が多い棋士(いると仮定して)の評価が過小になるし、次善手を含めた一致率では解析が甘くなって強さの判定に向いていないといったことになる
どうしたら解決するか
実を言うと、ソフトが最初に選んだ最善手ではなくとも評価値がさほど変わらない手ならば最善手と認定してくれる解析方法がある
>>1の表はその方法で一致率を調べたものなのでEloレートとの高い相関を得ることに成功したと認識している

その方法というのが逆順での解析だった
?探索エンジンのMutiPvを1にする
?ShogiGuiの棋譜解析で候補手を1にする
省2

21: ◆f7OmZ9ucu2 2019/08/25(日)17:59 ID:drQ8F6x8(10/16) AAS
>>18
前半40手を除外した一致率なので、ソフトでの研究の影響はあまりないはず
ソフトの終盤から学んで終盤に強くなった棋士はいる(あるいは今後出てくる)かもしれないけどね

22(2): ◆f7OmZ9ucu2 2019/08/25(日)18:11 ID:drQ8F6x8(11/16) AAS
>>13
1局だけの評価なら最善手か次善手かは大問題だけど、数多く解析すれば誤差は±0に均されるという見立で解析してきた
1局で1棋士40手解析するとして20局なら800手になる
サイコロを800回振って1の目が何回出るかを数えているのと同じ理屈だ
1局ごとにこだわって精査しなくとも数多く棋譜を解析した結果、棋士の一致率がEloレートと適合してきていることが何よりの検証になっているんじゃないかな

23(2): 2019/08/25(日)18:38 ID:QB+H8/hl(1) AAS
>>22
一度他のソフトでも何件か解析してみて一致率の差は誤差レベルになるというデータを示してくれたら分かりやすいんだけど
今は解析にillqhaを使ってるらしいからそれ以外のソフトで
orqha、水匠、NNUEkaiはillqhaと同族なのでそれ以外でやってみてほしい

24(1): ◆f7OmZ9ucu2 2019/08/25(日)18:51 ID:drQ8F6x8(12/16) AAS
>>23
今やっていることだけで手が一杯なので無理
誰かやってくれるとありがたい
ソフトで一致率に違いがあるのは当然として、各棋士のランキングに大きな違いは出てこないんじゃないか
仮に出てきても、どちらの一致率が強さの判定として有力かはEloレートとの比較で判断されることになる
そういうわけだから、>>1のデータがそれ自体独立して評価されるべきなのは変わらないよ

25(2): 2019/08/25(日)18:53 ID:o2ZMgyvS(1/2) AAS
持ち時間の長い対局だと一致率は上がるもんなのかな…
秒読み状態での一致率を比べるとどうなるんだろ…

いろいろ興味が湧くなぁ

上下前次 1-新書関写板覧索設栞歴

あと 977 ﾚｽあります
ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.013s