[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
681(1): (ﾜｯﾁｮｲ 5fc7-Yk6i) 07/26(金)23:21 ID:???0 AAS
>>680
w
VRAMどれくらいあれば動くの？
682(2): (ﾜｯﾁｮｲ 3311-Mtf7) 07/27(土)00:14 ID:s9nYYsMX0(1/3) AAS
>>681
量子化のレベルはIQ3_M(モデルサイズ55GB)で、64GBのunified memoryにロードしてる
意外と量子化による影響はあまり感じない(ちゃんと計測したらなんらかの劣化はあるだろうが)
683(1): (ﾜｯﾁｮｲ e720-7i3u) 07/27(土)00:14 ID:lT0n9RUP0(1) AAS
>>680
いいねー
こういうオープンソースが増えるのは明るい未来に繋がる
684(1): (ﾜｯﾁｮｲ 6fa0-05lm) 07/27(土)08:06 ID:???0 AAS
サイバーエージェント期待してる。量子化してください
685: (ﾜｯﾁｮｲ 32c7-wyzZ) 07/27(土)08:58 ID:???0 AAS
>>682
ほー、123Bが55GBで済むのか
この休日に試してみようかな
686(1): (ﾜｯﾁｮｲ 3311-Mtf7) 07/27(土)14:30 ID:s9nYYsMX0(2/3) AAS
>>684
外部ﾘﾝｸ:huggingface.co
687: (ﾜｯﾁｮｲ 7bc1-/CG0) 07/27(土)15:18 ID:???0 AAS
>>683
オープンソースじゃないんだよなぁ
たぶんフラッグシップモデルの開示はする予定じゃなかったんだろうけど
オープンソースと言えるのはApache2.0ライセンスやMITライセンスのやつ
LlamaもGemmaも制限があるし、Mistral Large2は研究用だから研究にしか使えない
Gemmaライセンスは違法なことや公序良俗に反することに使うなってだけで制限が緩いけどね
688: (ﾜｯﾁｮｲ 3311-Mtf7) 07/27(土)18:52 ID:s9nYYsMX0(3/3) AAS
上にあるサイバーエージェントのやつも試してみた
Finetuningでバカになってる感じもあまりないし、いいかもしれない
画像ﾘﾝｸ[png]:i.imgur.com
689(1): (ﾜｯﾁｮｲ 6fa0-05lm) 07/27(土)20:21 ID:???0 AAS
>>686
流石だぜモモンガニキ、そこにシビれる!あこがれるゥ!
690(1): (ﾜｯﾁｮｲ 26de-FjlS) 07/27(土)22:43 ID:???0 AAS
MacでLLM使うのってまだまだ難しい？
691: (ﾜｯﾁｮｲ 32c7-wyzZ) 07/27(土)22:55 ID:???0 AAS
>>682
IQ3_M試してみたけど違和感ないね
ただ、Command R+より遅いなあ
いずれにしても選択肢が増えたのはいいことだわ
692: (ﾜｯﾁｮｲ 1784-ezuo) 07/27(土)23:33 ID:???0 AAS
>>690
別に難しかったことなんて一度もないんじゃないの
693(1): (ﾜｯﾁｮｲ be87-x+oO) 07/28(日)00:24 ID:???0 AAS
Mistral-Large-Instruct-2407-Q6_K がM3Max 128GBで動いた
ちょっと試した感じだとCommand R+より賢そうだけどめちゃくちゃ遅い
Command R+で行けたNSFWプロンプトは申し訳されてしまったので
ある程度の規制はされてるっぽい
694(1): (ﾜｯﾁｮｲ 3311-Mtf7) 07/28(日)00:32 ID:9iQh5kAD0(1/5) AAS
Mistral Large 2が遅いのはパラメータ数がでかいからというより、日本語が1トークン/文字になってることの方が影響大きい気がする
R+はtpsは決して早くはないけど、トークナイザが最強だからモデルサイズに比して体感かなりストレス少ない
695(1): (ﾜｯﾁｮｲ 329f-q1yw) 07/28(日)00:36 ID:???0 AAS
>>693
お大尽やの、うらやましい……
M2 24GBなワイは快適に使うには9B位(LLMやなくてSLMやな)が限界でGemma2とかNinja3で妥協しとる
696: (ﾜｯﾁｮｲ 3311-Mtf7) 07/28(日)00:44 ID:9iQh5kAD0(2/5) AAS
>>695
システムが占有するunified memory 10GBくらいを差し引いても、量子化したモデルならもうちょい大きめのでも動きそうじゃね？
Mistral NeMoとかいけると思うんだけど
697: (ﾜｯﾁｮｲ be87-x+oO) 07/28(日)00:57 ID:???0 AAS
>>694
なるほど勉強になる
R+は日本語対応頑張ってくれてるんだなぁ
698: (ﾜｯﾁｮｲ 4f32-05lm) 07/28(日)01:00 ID:???0 AAS
>>689
mmnga/rinna-llama-3-youko-70b-instruct-gguf
こっちもやってくれたぞ
rinna系では一番の出来じゃないかと思う
しかもエロいｗ
699: (ﾜｯﾁｮｲ df8a-RfJN) 07/28(日)08:16 ID:???0 AAS
mini-magnum-12b 文章が短いのが嫌な人はおすすめ設定はMistralと同じだから調べれば出てくるエロもいける
700(1): (ﾜｯﾁｮｲ 6fa0-05lm) 07/28(日)12:00 ID:???0 AAS
大葉で
mmnga/rinna-llama-3-youko-70b-instruct-ggufはllamacppでロードできるけど
mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufはエラーになっちゃうなんでだろう
上下前次1-新書関写板覧索設栞歴
あと 302 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.014s