[過去ﾛｸﾞ] 最新ソフトで棋士の指し手一致率を調査した結果 2 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1(10): 2019/08/25(日)13:16 ID:ZVwpQy/4(1) AAS
画像ﾘﾝｸ[png]:i.imgur.com
※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
2chｽﾚ:bgame
5(3): ◆f7OmZ9ucu2 2019/08/25(日)16:01 ID:drQ8F6x8(2/16) AAS
公開した表はレーティング上位24位までの棋士を換算レートの順に並べている
ここで、換算レートについて説明したい
この画像は7月27日現在データ数が16局以上になった棋士22名をExcelで回帰分析したものである
Eloレートを目的変数、一致率と相手一致率を説明変数にして重相関係数を求めている
その結果、重相関Rは0.872だった
ここで得られた重回帰式を用いて算出したのが現在の換算レートになっている
画像ﾘﾝｸ[png]:i.imgur.com
6(7): ◆f7OmZ9ucu2 2019/08/25(日)16:09 ID:drQ8F6x8(3/16) AAS
次に相手一致率の算出の仕組を説明しておく
>>1でデータ数が一番少ない三浦九段を例にするとこんな仕組になっている
算出する度にこうした表にしているわけではないが、こうした原理で、三浦九段の一致率74.1%と相手一致率74.8%が算出されている
画像ﾘﾝｸ[png]:i.imgur.com
14(3): 2019/08/25(日)17:23 ID:ZVP0Z3pa(1) AAS
最新ソフトとは言ってもソフトAで次善手と出た手がソフトBでは最善手ということはよくあると思う
対してソフトAで大悪手だった手がソフトBで最善手になることはほとんどないだろう
だからソフトの次善手は真の最善手である可能性もある手という意味で悪手とは明確に差があるしこれは結果論ではないと思う
20(5): ◆f7OmZ9ucu2 2019/08/25(日)17:55 ID:drQ8F6x8(9/16) AAS
>>14
その疑問はごもっともで以前からあったはず
ソフトの最善手との一致率を採用するのが良いのか、次善手を含めた広義の一致率のほうがいいのか
つまり、最善手だけにすると次善手が多い棋士(いると仮定して)の評価が過小になるし、次善手を含めた一致率では解析が甘くなって強さの判定に向いていないといったことになる
どうしたら解決するか
実を言うと、ソフトが最初に選んだ最善手ではなくとも評価値がさほど変わらない手ならば最善手と認定してくれる解析方法がある
>>1の表はその方法で一致率を調べたものなのでEloレートとの高い相関を得ることに成功したと認識している
その方法というのが逆順での解析だった
?探索エンジンのMutiPvを1にする
?ShogiGuiの棋譜解析で候補手を1にする
省2
31(3): ◆f7OmZ9ucu2 2019/08/25(日)21:14 ID:drQ8F6x8(15/16) AAS
>>25
データベースは基本的に勝ちか負けか、先手か後手か、相居飛車か対抗形か、といった二分法を採用した
細分化してもデータ数が不足するからね
もちろん持ち時間での区分もできるようにデータベース化している
こっちは、持ち時間1時間以下の棋戦(早指し)と3時間以上の二分法になった
二日制の対局も取り出すことができるようにしてあるが、こちらはまだデータが少なすぎる
1時間棋戦には叡王戦の段位別予選と棋聖戦の1次予選、加古川青流戦がある
終盤はほぼ確実に秒読みに終われるので早指しに分類している
2時間の棋戦というのもないので、二分するのに好都合というのもこの二分法を採用した理由だ
というわけで、集計してみた
省15
35(3): 2019/08/26(月)06:51 ID:y4iMpX8U(1) AAS
「簡単だけど長い詰み」があるのに相手が投げなかったりして、簡単な手の連続でゴッソリ一致率稼げちゃうような
ケースがあると思うけど、そういうのは考慮されてるの？
ソフト的には「難しくて長い詰み」をきっちり詰ませた場合とまったく同じことなんだから
排除なんてしようがないとは思うが
46(3): 2019/08/26(月)19:11 ID:9wpUboZe(2/7) AAS
一致率を基に換算レートを算定する式は
一致率×1743+相手一致率×2812-1585
(だと思って見てみたら今使ってる係数は少し違ってるようだけど考え方は同じ)
一致率の平均が勝局83％・敗局65％で、相手一致率は相手レートを算定するもので相手一致率平均が74％という事はこれに2812を乗じたら大体相手平均レート×1.1〜1.2倍になる
という事で式を変形するとこうなる
(0.6+勝率×0.18)×1743＋平均相手レート×1.15-1585
見てわかるようにこう変形すると一致率全く関係なく勝率と相手レートからレートを推定する式になる
また上記のように係数が少し違っているようであり計算を簡略するために以下の式で簡易推測レートを算定してみた
(0.6+勝率×0.2)×1750+平均相手レート-1200
これに>>1にある年間勝率と相手レーティング平均をあてはめた結果が次項
47(3): 2019/08/26(月)19:12 ID:9wpUboZe(3/7) AAS
>>46
左から簡易推測レート・一致率推測レーティング順位・年間平均実測レーティング順位
1 渡辺 1971 1 1
2 豊島 1942 2 2
3 羽生 1871 3 5
4 久保 1857 4 10
5 木村 1856 11 7
6 永瀬 1835 ７ 4
7 三浦 1829 12 17
8 菅井 1816 9 9
省18
50(3): 2019/08/26(月)19:42 ID:2v3dIFYJ(1) AAS
ただの感想なので怒らないで欲しいんだけど一致率とか調査するなら過去の棋士との比較までやらないとあんまり意味がないと思う
現在の棋士の強さは普通に対戦成績から算出されたレーティングで確認できるわけで
成績ではなく棋譜で解析するメリットってやっぱり直接対決してない過去の棋士とも比較可能になるってところにあるんじゃないだろうか
山下さんの棋譜解析の論文にもそう書いてあったし
だから過去の棋士も解析できる手法を見つけないとあんまり実用性がないんじゃないかなぁ
70(3): 2019/08/27(火)01:15 ID:KcGblsp/(1/5) AAS
>>62
勝率のみで考える式に近いというのは長所でも短所でもなく単なる事実
式を変型すると自分の一致率を基に変数を求める部分は
(0.65+勝率×0.18)×1743×{実測一致率/（勝率×0.84)+(敗率×0.65)}となる
つまりあなたが意図してようが意図していまいが勝率でまず変数を出して実測一致率で補正するという形になってる
で、「実測一致率/（勝率×0.84)+(敗率×0.65)」でどれくらい補正がかかるかというと一致率が変わるとレートが17.4変わる
24人の内2％(レートにして35)以上補正されているのが6人、3％以上補正したのがその内3人
レートにして藤井61、佐藤天-77、山崎-87
一致率による補正影響はこの程度で、かつ>>55で見たように補正により精度が上がっているかどうかも微妙
81(3): ◆f7OmZ9ucu2 2019/08/27(火)12:12 ID:Jzuv0Y1o(8/12) AAS
一致率を調べる意義
もし、一致率が棋力判定に使えるなら利点が多い
(1)一致率なら最強時代が異なる棋士でも比較できる
(2)新人棋士のレーティングが信頼できるものになるには100局必要とされるが、一致率ならその半分以下で十分だ★
(3)レーティングでは、研究が嵌まってたまたま一時的に高くなっているのか、地力の違いで高くなっているのかが分からない
(4)一致率なら、研究から離れた局面でどれだけ最善手を指せるか、疑問手や悪手率が少ないかの指標となるので、棋士の地力が評価できる
(5)一致率なら、先後や手数の違い、勝局時、敗局時の一致率など細かい分析ができる
(6)レーティングより少ない局数で評価できるから、線型や持ち時間の長さなどで分類して分析することも可能だ
★前半40手除外しても平均1局110手だから70手ある
レーティングは勝ちか負けかの1対のデータなのに対して、一致率の場合は一致したか一致しなかったかで1局1棋士に35個のデータがある
省1
82(3): 2019/08/27(火)14:43 ID:GTrCiXsb(1) AAS
持ち時間のばらつきをどう補正しているかを知りたい
レートなら勝ち負けしかないからサンプル数重視で無視するという考え方もわかるけど、
一致率は持ち時間が長いほど有利なわけだからなにがしかの補正をしてるんだよね。
64年の大山は防衛戦と王座戦、NHK杯しかなくて当時は二日制は10時間だったから
対局の半分は10時間の将棋だったんじゃないの
93(4): 2019/08/28(水)01:10 ID:s67rdTyy(1) AAS
>>91
「中央値」って何？
そもそも一定以上に評価が下がる手を入れると評価がおかしくなるから除外してるよね
同じ手法を取ってうまくいかないから「中央値」を採用してみたというのならわかる
それをうまくいくかどうか全くわからない「中央値」を採用してうまくいかなかったからといって、なんでそれがそもそもやり方が違う山下論文方式の「平均悪手(点)」を否定する事になるの？
山下論文方式はソフトが今より弱かった時期でさえ少なくともレート2800点までの相関は調べており、ひふみんのデータを見る限りではそれ以上のレートでも機能していても全くおかしくない
それをソフトも強くなってるのに試しもせずに否定する根拠は全くない
94(3): ◆f7OmZ9ucu2 2019/08/28(水)06:48 ID:BvtGCFO3(1/10) AAS
>>93
除外していないよ
某棋士の解析が5棋譜あって平均悪手が小さい順にこうなったとする
20 30 50 60 200
平均値は360/5=72
中央値は50
さきのデータでいうと50なら26番目だが、72なら56番目だ
順位が30も違う
平均悪手が200の棋譜は大悪手で負けた棋譜だ
想像つくと思うが、中央値でなく平均値を採用すると中央値を採用する以上に強さのランキングとは言えないものになる
省15
100(4): 2019/08/28(水)11:37 ID:5wNc5iok(1) AAS
>>89
「３つに分けることができる」が不可解というか、そらわけることはできるだろうけど根拠がないなあ
データを沢山積み上げて、本当に3時間と6時間には微少な差しかないんだと立証できれば凄いことだと思うけど
108(3): 2019/08/29(木)01:39 ID:v1Fmy0BZ(1) AAS
>>94
山下論文方式も「中央値」もどちらも一長一短
なのでどちらの判別力が優れているかをデータなしに机上で力説しても全く無意味
山下論文方式は一定の判別力ありとなっているので仮に中央値方式がダメであれば山下論文方式を試せばいいだけ
実際に2つのデータを並べて判別力を比較分析すればわかる話
あと>>106でなんで「無理」という結論付けているのか全くわからない
中央値方式は判別力が低い可能性はあるが、あまりにも対局サンプルが少なすぎる棋士が大半
対局数が少ないためまだ敗戦データがほとんど含まれていない棋士があれば当然上位になってしまうことが予想される
恐らく一致率データもこれくらいの局数で対戦相手を勘案せずに個々人レベルで見るとこんな感じでは？
136(3): 2019/09/02(月)21:18 ID:Z1Q+vYZa(2/8) AAS
>>70
式の意味をもっとわかりやすくなるよう変型すると
(勝率×314+1133)×(実測一致率/理論一致率)+平均相手レート×1.15-1561
つまり一致率と全く関係なく対局相手と勝率だけから算定される「(勝率×314+1133)+平均相手レート×1.15-1561」という仮換算レートを「実測一致率/理論一致率」で調整する形となっている
で、実際どれくらい調整しているかというと、まず理論一致率は「勝率×0.83+敗率×0.65」で勝率8割なら79.4％、勝率6割なら75.8％
これを上位24棋士に当てはめて計算すると(実測一致率/理論一致率)は93％〜105％の範囲となる
換算レートに+-50以上の影響があったのは4人
最大下方調整が山崎で-107、最大上方調整藤井が62だが大半は+-20程度の微調整しかされていない
139(3): ◆f7OmZ9ucu2 2019/09/02(月)21:37 ID:0WsPI8/W(1/7) AAS
>>135
Bnanzaで調べたときの話だよ
確かにGPSFishでは羽生が一致率0.608で最高になっているようだね
しかし、これをこのまま受け取る人はどうかと思うよ
最高で一致率が60%というのでは一致率はあてにならないから却下されて当然でしょ
もちろん、一致率があてにならないわけだから平均悪手もあてになるわけがないよね
なぜなら、最新のソフトでだったら一致している指し手が他に20%もあるのにそれを悪手と認定しているわけだからね
それと、一致率の集計自体が疑問だらけなんだよ
これまで説明してきたように勝った局と負けた局では一致率にかなりの差がある
つまり、勝率がよいデータを集めて解析すれば一致率は高くなり、勝率が悪いデータを集めて解析すれば一致率は悪くなる
省15
202(3): 2019/09/05(木)19:18 ID:ze7g06kq(1) AAS
ところで羽生は渡辺に勝ち越しているわけで数年前の羽生は今の豊島より強くないといまいち納得がいかんのやが、データでてたっけ
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.049s