【統計分析】機械学習・データマイニング33

【統計分析】機械学習・データマイニング33 (861ﾚｽ)
上下前次1-新
通常表示 512ﾊﾞｲﾄ分割ﾚｽ栞
抽出解除必死ﾁｪｯｶｰ(本家) (べ) ﾚｽ栞あぼーん

70: デフォルトの名無しさん (ﾜｯﾁｮｲ b516-yXQ9 [182.168.43.86]) [] 2023/04/05(水) 17:56:02.42 ID:58QUGNKH0

ChatGPTに関してはちょっと違う。なぜかというとChatGPTのバックエンドで動作してる
GPT3.5/4.0に関しては用意した学習データで機械学習を実施してモデルを生成したら終わりでは
なくて、生成したモデルの回答を人間が監修することで再学習を実施する教師あり学習を
可能とした新しいLLMを採用したところに大きな特徴を持つからだ
LMは機械翻訳で使用されているSeq2Seqに代表されるように生成されたモデルはブラックボックス
であり、例え、明らかな誤訳が得られたとしても修正やデバックが困難なところに大きな
課題を抱えていたが、OpenAIは、ChatGPT3.5以降からは不正解であれば、そう教えることで
モデルの精度を高めていくことを可能にした。
また、最近OpenAIが発表した論文（arXiv2303.10130）ではSATやBar Examとか
専門分野の試験のスコアがGPT3.5からGPT4でどれだけ向上したかが検証されているが、
同時にこの論文の内容からはOpenAIがこうした専門分野ごとに学習データを作ってGPT3.5
で悪かった専門領域を重点的に学習させていることがわかる。これらが全て教師付きで再学習を
必要としていることを考慮するとChatGPTの開発には教師として膨大な各分野の専門家の
ヒューマンリソースが投じられてることがわかる。
また、ChatGPTがもう一つこれまでの深層学習モデルと異なるのは、機械学習の実施にあたって
膨大な計算機リソースが使用された点にもある。最近の記事によるとChatGPTの機械学習には
マイクロソフトがA100x10000枚のGPUクラスターをこのためだけに新規で設置したと
書かれてあった。この環境はTop500ではトップ５位に相当するGPUスーパーコンピュータで
マイクロソフトはChatGPTの機械学習環境を整備するためだけにラックから全て約1億ドルを
投じて新規に導入した。これとは別に公開サーバー用の実行環境がDGXで構築されており、
実行環境の維持費だけで1日60万ドルと書かれてあった。

http://mevius.5ch.net/test/read.cgi/tech/1678984249/70

上下前次1-新書関写板覧索設栞歴

ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 1.234s*