[過去ﾛｸﾞ] 技術的特異点/シンギュラリティ【総合】 220 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
33(2): 2022/08/20(土)00:57 ID:WysMEBLa(2/17) AAS
外部ﾘﾝｸ:gigazine.net
これを見ると、ニューラルネットというより超強力な予測システムみたいなやつっぽいけど
＞正解を与えずに特徴のパターンを学習させる「教師なし学習」により、データセットから”次に来る単語”を予測
＞間違った予測と正解の誤差を計算し、誤差を学習
外部ﾘﾝｸ:gigazine.net
Google Transformer
＞各単語が文章中のすべての単語と比較され、
その結果が文章内の全ての単語のアテンションスコアとして残り、このスコアを基にそれぞれの単語がどういった意味合いを持っているのかを判断
37: 2022/08/20(土)01:03 ID:DkVqk7od(5/10) AAS
>>33
予測システムをニューラルネットを使って作ったもの。やることは未知のテキストでうまく予測できたら性能が高いと評価されるから、学習データにないデータでも評価されてる。だからニューラルネットで間違いないし、モノマネじゃ無理なタスクでも検証されてる
58: 2022/08/20(土)10:47 ID:h5JKAun1(1) AAS
>>33
いつの記事だよー、全く
単語を敢えて一つ隠して予測させて、それを持って文脈をベクトル化してるの
何故なら、隠した単語は周りの単語から類推できるから
トランスフォーマーはアテンションを入れたので、今までブラックボックスだったCNNのノードの手がかりか掴めるようになった功績大きい
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.257s*