【統計分析】機械学習・データマイニング33 (889ﾚｽ)
上下前次1-新
396: (ﾜｯﾁｮｲ ef89-sdYh [39.111.228.181]) 2023/11/05(日)20:45 ID:wlYomXuO0(1) AAS
確率的勾配降下法
外部ﾘﾝｸ[html]:www.msi.co.jp
難しいね、うん
397: (ｱｳｱｳｳｰ Sa0f-CWlg [106.180.4.252]) 2023/11/05(日)23:32 ID:6QUCKtJua(1) AAS
なんでみんな偏微分勉強しないの？
398: (ﾜﾝﾐﾝｸﾞｸ MMbf-O1I7 [153.155.231.163]) 2023/11/06(月)15:33 ID:KM1ADC5yM(1) AAS
自由エネルギー原理、ちかまたオカルトみたいなことやってんのな😅
399: (ﾜｯﾁｮｲ ef89-sdYh [39.111.228.181]) 2023/11/06(月)17:41 ID:MSLupMxE0(1) AAS
機械学習における最適化理論と学習理論的側面
外部ﾘﾝｸ[pdf]:www.kurims.kyoto-u.ac.jp
確率的勾配降下法の収束の証明、ざっと眺めてみたら、まじめにやると禿げる
400(1): (ﾜｯﾁｮｲ abca-pScM [254.206.42.254]) 2023/11/06(月)18:13 ID:jt8VLAcA0(1) AAS
確率勾配法も、transfomerやCNNもあんまり数理的に詳しくない人が思いついた気がするけど、数理的に深い方の統計機械学習はどのくらい価値があるのかイマイチわからない
401: (ﾜｯﾁｮｲ fb90-FqIF [42.124.2.109]) 2023/11/06(月)23:02 ID:syJ5nTa30(1) AAS
ヒューリスティックなことって結構あるよね
局所最適解に捕まってないという証明出来ないこと多いし
402: (ｱｳｱｳｳｰ Sa0f-2ws7 [106.146.125.80]) 2023/11/07(火)00:34 ID:68QHudqSa(1) AAS
>>400
バックプロゲーションやNNの最適化を60年代にすでに完成させてた甘利先生が
ローカルミニマムに陥るのを防ぐことはできないと言って諦めた分野だからな
少なくとも数学的な理論では無理だと判断した
ローカルミニマムに陥らないようにする各種手法を小手先のテクニックと言って切り捨ててたし
確かにミニバッチ勾配降下法とかドロップアウトとかレイヤー正規化だとかの理論は
あくまでやってみたら有効だったというだけで証明は一切ない
403: (ﾜｯﾁｮｲ 7b6e-O1I7 [138.64.84.230]) 2023/11/07(火)07:26 ID:QDtGzaCz0(1) AAS
現実の現象は決定論的でないしノイズまみれだから気にすることない
404(1): (ﾜｯﾁｮｲ ef89-sdYh [39.111.228.181]) 2023/11/07(火)11:07 ID:Se26FTX90(1/6) AAS
解空間が複雑で分からないと言ってるだけだろ、最適解の尺度（L2ノルム等）を決めた時に解を求める方法があるといってるんだよ。
万能な方法があるわけがない、甘利爺なんかを信じなるなよ
405: (ｱｳｱｳｳｰ Sa0f-2ws7 [106.146.125.124]) 2023/11/07(火)12:43 ID:yYWpV8FYa(1) AAS
甘利先生の講義はめちゃくちゃわかりやすいんだよ
外部ﾘﾝｸ:www.youtube.com
論文はかなり難しいのだけど講義はすげー直感的にわかりやすい
406(1): (ｱｳｱｳｳｰ Sa0f-2ws7 [106.146.127.135]) 2023/11/07(火)12:51 ID:LIk4YSRsa(1/2) AAS
>>404
甘利先生は万能な方法を探そうとして情報幾何やらの方向にいってしまって帰ってこなかった
そして深層学習が流行り出して戻ってきた
ジェダイの帰還
407: (ﾜﾝﾐﾝｸﾞｸ MMbf-O1I7 [153.155.231.163]) 2023/11/07(火)13:00 ID:/4zMRPCKM(1/4) AAS
なにしに戻ってきたんだかwww
408: (ﾜﾝﾐﾝｸﾞｸ MMbf-O1I7 [153.155.231.163]) 2023/11/07(火)13:00 ID:/4zMRPCKM(2/4) AAS
なにしに戻ってきたんだかwww
409(1): (ﾜｯﾁｮｲ ef89-sdYh [39.111.228.181]) 2023/11/07(火)13:19 ID:Se26FTX90(2/6) AAS
>>406
情報幾何は失敗だった草
410: (ｱｳｱｳｳｰ Sa0f-2ws7 [106.146.127.135]) 2023/11/07(火)13:35 ID:LIk4YSRsa(2/2) AAS
>>409
結果的にはね
そこには「何もなかった」
しかし純粋な数学的理論としてNNを紐解こうとしたらそっちに行くしかないのはわかる
411: (ﾜｯﾁｮｲ ef89-sdYh [39.111.228.181]) 2023/11/07(火)14:38 ID:Se26FTX90(3/6) AAS
昔ある学会である人のは発表を聞いてそれは俺が前にやったと言っていた傲慢な爺
412: (ｱｳｱｳｳｰ Sa0f-2ws7 [106.155.29.234]) 2023/11/07(火)15:31 ID:Nt2OyzQea(1/5) AAS
甘利先生の考えた「自然勾配」を最適化に使うと言う理論は今でこそ一般化した感じはあるが
これを70年代に生み出していたのはマジの天才としか言いようがないよ
413: (ﾜﾝﾐﾝｸﾞｸ MMbf-O1I7 [153.155.231.163]) 2023/11/07(火)15:33 ID:/4zMRPCKM(3/4) AAS
理論的な綺麗さを求める人はそれはそれで必要だからやってくれればいいけど工学馬鹿にしたような感じがしてちょっと俺は
transformerの内部解析すらしようとしないし（笑）できないのかもしれんが
414(2): (ｱｳｱｳｳｰ Sa0f-2ws7 [106.155.29.234]) 2023/11/07(火)15:44 ID:Nt2OyzQea(2/5) AAS
甘利先生が60年代と70年代に出した論文を超えるようなものを出した日本人はいないからね
この時期は福島先生という今のCNNとまんま同じNNを出した天才もいるし
時代が違っていれば日本人が世界していた可能性も高い
415: (ｱｳｱｳｳｰ Sa0f-2ws7 [106.155.29.234]) 2023/11/07(火)15:45 ID:Nt2OyzQea(3/5) AAS
s/世界していた/世界を支配していた/
上下前次1-新書関写板覧索設栞歴
あと 474 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.008s