[過去ﾛｸﾞ]
なんJLLM部 避難所 ★3 (1002ﾚｽ)
なんJLLM部 避難所 ★3 http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
681: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 5fc7-Yk6i) [sage] 2024/07/26(金) 23:21:54.19 ID:???0 >>680 w VRAMどれくらいあれば動くの？ http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/681
682: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 3311-Mtf7) [] 2024/07/27(土) 00:14:33.14 ID:s9nYYsMX0 >>681 量子化のレベルはIQ3_M(モデルサイズ55GB)で、64GBのunified memoryにロードしてる 意外と量子化による影響はあまり感じない(ちゃんと計測したらなんらかの劣化はあるだろうが) http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/682
683: 名無しさん＠ピンキー (ﾜｯﾁｮｲ e720-7i3u) [] 2024/07/27(土) 00:14:48.90 ID:lT0n9RUP0 >>680 いいねー こういうオープンソースが増えるのは明るい未来に繋がる http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/683
684: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fa0-05lm) [sage] 2024/07/27(土) 08:06:35.47 ID:???0 サイバーエージェント期待してる。量子化してください http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/684
685: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 32c7-wyzZ) [sage] 2024/07/27(土) 08:58:22.02 ID:???0 >>682 ほー、123Bが55GBで済むのか この休日に試してみようかな http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/685
686: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 3311-Mtf7) [] 2024/07/27(土) 14:30:13.44 ID:s9nYYsMX0 >>684 https://huggingface.co/mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf/tree/main http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/686
687: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 7bc1-/CG0) [sage] 2024/07/27(土) 15:18:05.92 ID:???0 >>683 オープンソースじゃないんだよなぁ たぶんフラッグシップモデルの開示はする予定じゃなかったんだろうけど オープンソースと言えるのはApache2.0ライセンスやMITライセンスのやつ LlamaもGemmaも制限があるし、Mistral Large2は研究用だから研究にしか使えない Gemmaライセンスは違法なことや公序良俗に反することに使うなってだけで制限が緩いけどね http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/687
688: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 3311-Mtf7) [] 2024/07/27(土) 18:52:19.55 ID:s9nYYsMX0 上にあるサイバーエージェントのやつも試してみた Finetuningでバカになってる感じもあまりないし、いいかもしれない https://i.imgur.com/DASmyky.png http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/688
689: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fa0-05lm) [sage] 2024/07/27(土) 20:21:33.73 ID:???0 >>686 流石だぜモモンガニキ、そこにシビれる!あこがれるゥ! http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/689
690: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 26de-FjlS) [sage] 2024/07/27(土) 22:43:39.29 ID:???0 MacでLLM使うのってまだまだ難しい？ http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/690
691: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 32c7-wyzZ) [sage] 2024/07/27(土) 22:55:45.70 ID:???0 >>682 IQ3_M試してみたけど違和感ないね ただ、Command R+より遅いなあ いずれにしても選択肢が増えたのはいいことだわ http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/691
692: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 1784-ezuo) [sage] 2024/07/27(土) 23:33:22.47 ID:???0 >>690 別に難しかったことなんて一度もないんじゃないの http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/692
693: 名無しさん＠ピンキー (ﾜｯﾁｮｲ be87-x+oO) [sage] 2024/07/28(日) 00:24:38.08 ID:???0 Mistral-Large-Instruct-2407-Q6_K がM3Max 128GBで動いた ちょっと試した感じだとCommand R+より賢そうだけどめちゃくちゃ遅い Command R+で行けたNSFWプロンプトは申し訳されてしまったので ある程度の規制はされてるっぽい http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/693
694: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 3311-Mtf7) [] 2024/07/28(日) 00:32:07.72 ID:9iQh5kAD0 Mistral Large 2が遅いのはパラメータ数がでかいからというより、日本語が1トークン/文字になってることの方が影響大きい気がする R+はtpsは決して早くはないけど、トークナイザが最強だからモデルサイズに比して体感かなりストレス少ない http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/694
695: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 329f-q1yw) [sage] 2024/07/28(日) 00:36:37.11 ID:???0 >>693 お大尽やの、うらやましい…… M2 24GBなワイは快適に使うには9B位(LLMやなくてSLMやな)が限界でGemma2とかNinja3で妥協しとる http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/695
696: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 3311-Mtf7) [] 2024/07/28(日) 00:44:26.47 ID:9iQh5kAD0 >>695 システムが占有するunified memory 10GBくらいを差し引いても、量子化したモデルならもうちょい大きめのでも動きそうじゃね？ Mistral NeMoとかいけると思うんだけど http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/696
697: 名無しさん＠ピンキー (ﾜｯﾁｮｲ be87-x+oO) [sage] 2024/07/28(日) 00:57:55.22 ID:???0 >>694 なるほど勉強になる R+は日本語対応頑張ってくれてるんだなぁ http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/697
698: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 4f32-05lm) [sage] 2024/07/28(日) 01:00:52.48 ID:???0 >>689 mmnga/rinna-llama-3-youko-70b-instruct-gguf こっちもやってくれたぞ rinna系では一番の出来じゃないかと思う しかもエロいｗ http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/698
699: 名無しさん＠ピンキー (ﾜｯﾁｮｲ df8a-RfJN) [sage] 2024/07/28(日) 08:16:54.08 ID:???0 mini-magnum-12b 文章が短いのが嫌な人はおすすめ設定はMistralと同じだから調べれば出てくるエロもいける http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/699
700: 名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fa0-05lm) [sage] 2024/07/28(日) 12:00:32.62 ID:???0 大葉で mmnga/rinna-llama-3-youko-70b-instruct-ggufはllamacppでロードできるけど mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufはエラーになっちゃうなんでだろう http://mercury.bbspink.com/test/read.cgi/onatech/1717886234/700
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 302 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.009s