[過去ﾛｸﾞ] 【悲報】Nvidiaバブル、終了か。加算演算だけで高速・高性能を実現するAIモデル「BitNet」をMicrosoftが発表し、ハードウェア革命到来 [666250534] (483ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1(4): 安倍晋三🏺◆ABeSHInzoo (ﾜｯﾁｮｲW 0656-fwA/) 2024/02/28(水)21:03 ID:jm46InH00(1/4) AAS
BEｱｲｺﾝ:nida.gif
WirelessWire News
『1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も』
外部ﾘﾝｸ:wirelesswire.jp
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。
昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。
彼らが発表したグラフを引用しよう。
画像ﾘﾝｸ[png]:i.imgur.com
省9
464: (ﾆﾝﾆｸｸｴW 0b56-dVQ1) 2024/02/29(木)17:55 ID:Rvd8Q7dO0GARLIC(1) AAS
>>428
nvidiaが強いのは元からあるゲーム向けグラボの生産ラインを有効活用できるからであって
他が既に作ってる物を新規に設備投資して作っても儲からないのでは
465: 🏺 (ﾆﾝﾆｸｸｴ Sdea-2noF) 2024/02/29(木)18:15 ID:vadelsAtdGARLIC(2/2) AAS
>>462
なるほど
理解した
466: (ﾆﾝﾆｸｸｴ ca0d-EVRh) 2024/02/29(木)18:28 ID:ajGF16i+0GARLIC(1) AAS
グラボ以外にまともな電力供給しながら高速バス接続できるデバイスなんて量産できないから
結局NVIDIA一強
467: (ﾆﾝﾆｸｸｴ 9f0d-EVRh) 2024/02/29(木)18:32 ID:b4cyILA20GARLIC(1) AAS
NVIDIAも現状実用するのにGPUの形態が都合が良いからGPUでやってるだけで
もう何年も前からASIC・専用プロセッサ・その他もろもろ必要な関連会社に買収・投資しまくって準備してるからな
結局開発環境や人材の先行利益あって金も大量にあるエヌビが有利
468: 🎮🏺◆abesHiNZOU6m (ﾆﾝﾆｸｸｴ Sdea-Jwpq) 2024/02/29(木)18:41 ID:KFK9pT25dGARLIC(4/4) AAS
NVDAホルダーの眠れない夜
469: (ﾆﾝﾆｸｸｴ 038f-73hO) 2024/02/29(木)18:58 ID:LMCgMh5P0GARLIC(2/2) AAS
NVIDIAはGH200のHopper部分を置き換えるだけで色々対応できるんじゃねーのそのためにDGXプラットフォーム作ったんだろうし
というか他の会社がGH200みたいなの作ろうと思ってもAIプロセッサ（GPU）以外の部分の量産ノウハウ不足でまともな値段で販売できないよ
470: 安倍晋三🏺 (ﾆﾝﾆｸｸｴ 4685-w3el) 2024/02/29(木)19:07 ID:GycB4h850GARLIC(1/2) AAS
>>355
> このサイズでこの解答は驚異的だ。もっと出鱈目なことを言うのが常なのである。
> BitNetが、その性質上、小さいモデルではtransformerに精度で勝てなかったからだ。
小さいモデルではTransformerに勝てないのに、小さいサイズでの性能が驚異的という矛盾
またくだらない妄言だね
471: 安倍晋三🏺 (ﾆﾝﾆｸｸｴ 4685-w3el) 2024/02/29(木)19:14 ID:GycB4h850GARLIC(2/2) AAS
この論文の結果が示唆しているのは
従来のLLMは正則化を改善することで大幅に性能向上する可能性があるということ
GPU不要論は中国の事情なのか話題作りか知らないけど、真面目に取り合う必要なし
472: (ﾆﾝﾆｸｸｴW 06b9-wvGq) 2024/02/29(木)19:33 ID:PKASaZ7z0GARLIC(1) AAS
結局、Transformer系って密すぎるんだよな
だから1bit化して丁度よいくらいというか、むしろロバストになって精度が上がったりするんだろう
473: 安倍晋三🏺 (ﾆﾝﾆｸｸｴW 461f-fCbz) 2024/02/29(木)20:33 ID:ZBNrS8N80GARLIC(1) AAS
FANG＋安泰だな
474: (ﾆﾝﾆｸｸｴ 9b16-o+si) 2024/02/29(木)20:49 ID:Jl6WxLvj0GARLIC(1) AAS
そもそもグラボなくてもクラウド配信でゲームできるようになったんだろ
グラボいらなくなるよ
475(1): (ﾆﾝﾆｸｸｴW 0605-U9dJ) 2024/02/29(木)21:12 ID:blz/wy3M0GARLIC(1) AAS
これなんで日本人しか騒いで無いん？
X見てもGoogleトレンドみても外人騒いで無いんやが
476: 天才 (ﾆﾝﾆｸｸｴ 1b0b-Y4uW) 2024/02/29(木)21:14 ID:C5FdvF7U0GARLIC(3/3) AAS
この論文でたの４ヶ月前なんだけど。
477: 安倍晋三🏺◆abesHiNZOU6m (ﾆｸｸｴW 466b-VtZE) [ ] 2024/02/29(木)22:30 ID:RS+KQQNC0NIKU(1) AAS
ジャック・ザ・リッパーおるんか
478: (ﾆｸｸｴ ca0d-EVRh) 2024/02/29(木)22:38 ID:nfMKqG/80NIKU(1) AAS
そしてNVDA株は今日もアゲアゲ
479(1): 安倍晋三🏺◆ABeSHInzoo (ﾆｸｸｴW 9b89-6f7D) 2024/02/29(木)23:05 ID:kFF8t9PG0NIKU(1) AAS
>>463
MSも別にこれをCPUで動かすとは言ってないでしょ
既存GPU上でも無駄が多いけどとりあえずは動くし、最終的には加算だけが異常に高速なNPUのようなもので動かすことを想定してる
そこに高速メモリ積めばいい
480: (ﾆｸｸｴW 06b9-wvGq) 2024/02/29(木)23:08 ID:PKASaZ7z0NIKU(1) AAS
>>475
驚き屋が騒いでるだけだぞ
量子化なんて前から取り組まれてる分野なのに
481: (ﾆｸｸｴW aafc-KPVc) 2024/02/29(木)23:12 ID:LFoO4+jb0NIKU(1) AAS
結局NVDAは伸びるってことだな。よかったよかった
482: (ﾆｸｸｴ 5f5f-MEMs) 2024/02/29(木)23:59 ID:aM1X9ngU0NIKU(1) AAS
>>479
高速メモリ積めばいいって言葉で言うだけなら簡単だよな
実際はそれを一から製品化すると販売価格5000万とかになる
ノウハウあってGPUの規格流用して超大規模に量産してるNVIDIAだから1000万以下で作れてるだけ
483: (ﾜｯﾁｮｲ 9f0d-EVRh) 2024/03/01(金)00:14 ID:9RL2We4+0(1) AAS
今日のNVDAの株価+2%超、MSFTは+0.2%弱
これが現実である
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.324s*