[過去ﾛｸﾞ] 【悲報】Nvidiaバブル、終了か。加算演算だけで高速・高性能を実現するAIモデル「BitNet」をMicrosoftが発表し、ハードウェア革命到来 [666250534] (483ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1(4): 安倍晋三🏺◆ABeSHInzoo (ﾜｯﾁｮｲW 0656-fwA/) 2024/02/28(水)21:03 ID:jm46InH00(1/4) AAS
BEｱｲｺﾝ:nida.gif
WirelessWire News
『1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も』
外部ﾘﾝｸ:wirelesswire.jp
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。
昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。
彼らが発表したグラフを引用しよう。
画像ﾘﾝｸ[png]:i.imgur.com
省9
96: 安倍晋三🏺◆ABeSHInzoo (ﾜｯﾁｮｲW aa2b-aIvu) 2024/02/28(水)21:35 ID:tKL0bqxB0(1) AAS
>>1
なるほど
さっぱりわからん
287: 安倍晋三🏺 (ﾜｯﾁｮｲW df6a-eZHc) 2024/02/28(水)23:48 ID:3j+T/Kgr0(2/2) AAS
助かったNVIDIAマイナスなるとこだった
>>1ありがと
355(7): 安倍晋三🏺◆abeshinzo. (ﾆﾝﾆｸｸｴW 0656-fwA/) 2024/02/29(木)04:24 ID:jwDhvTRB0GARLIC(1) AAS
BEｱｲｺﾝ:nida.gif
>>1 の記事の筆者(清水亮)が実際に手を動かして実験した結果を報告してる
『驚異の1ビットLLMを試す。果たして本当に学習できるのか?』
外部ﾘﾝｸ:note.com
それでも信じられない俺は、ひとまずwikitextを学習させるサンプルを走らせてみた。
lossは4.9から始まり、最終的に2.78まで下がった。もっと回せばもっと下がりそうだ。問題は果たしてこれでちゃんと学習できているかということだ。
なんかそれっぽいこと言ってる!!!!!! しかも小さいから当たり前なのだが推論は超速いのである。
省11
377: (ﾆﾝﾆｸｸｴW 33aa-td0Q) 2024/02/29(木)06:56 ID:Jlt4KOM70GARLIC(2/2) AAS
>>362
技術開発が進んでないからであって、技術的に限界が来たから二進法に統一されたわけではない。
それに>1の革新とは別のレベルで、論理回路には平衡三進法でしか成し得ない高速化方法がいくつもある。
いままでは3進法のメリットがそれほど明確でなかったから率先して技術開発なされてきなかっただけで、
AIで明確な優位点が出た以上、デジタル回路での実装が研究されてハードウェア的に実装されていくと思うよ。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.014s