[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
672: (ｵｲｺﾗﾐﾈｵ MM5f-C9XH) 2024/07/26(金)12:56 ID:???M AAS
>>650
Mistral Large結構いい感じだよね
トークナイザが日本語に最適化されてなくて厳しいけど
673: (ﾜｯﾁｮｲ df77-1fg3) 2024/07/26(金)15:32 ID:???0 AAS
Vecteus好きだ
すぐ淫乱にならないところが
674: (ﾜｯﾁｮｲ fb32-G/Qc) 2024/07/26(金)16:52 ID:???0 AAS
応答の長さ（トークン数）を増やし過ぎても繰り返しが多くなるのか
何を弄ったらどう変わるのかいまいち把握しきれないな
675: (ﾜｯﾁｮｲ 9b32-srET) 2024/07/26(金)17:22 ID:???0 AAS
cyberagent/Llama-3.1-70B-Japanese-Instruct-2407
ちょっと期待
676: (ﾜｯﾁｮｲ 9b09-jkbP) 2024/07/26(金)17:32 ID:???0 AAS
設定といえばkoboldcppのGPUレイヤーだっけ？皆いくつにしてんの？
俺初期値の200のままなんだけど減らしたらええのか？
677: (ﾜｯﾁｮｲ 4f97-C9XH) 2024/07/26(金)17:46 ID:???0 AAS
全レイヤー乗りさえすればいくつでもいいんじゃないの
678(1): (ﾜｯﾁｮｲ 9b93-b7mV) 2024/07/26(金)18:07 ID:???0 AAS
>>670
新参なもんでまだ全然分かってない。すまぬ。
このスレに出てきてないものだと、Antler-7B-evolve、
EZO（common/humanitiesの2つ）があるから試してみて。
Antler-7B-evolveはKagemsyaみたいな用途で使えると思う。
679: (ﾜｯﾁｮｲ 1bbe-G/Qc) 2024/07/26(金)21:29 ID:???0 AAS
3.5sonnetがマジでかしこいな
ちゃんと設定すればそこそこ複雑な設定のゲームも進行させられる
この技術がPCゲームに応用されたら凄いことになるんだろうけどなぁ
680(2): (ﾜｯﾁｮｲ cb11-FnV+) 2024/07/26(金)21:33 ID:zWi3niPt0(1) AAS
Mistral Large 2
脱獄なしで設定書くだけでもNSFW出力してくれて大変良い
ロリNGとかも特になさそう
若干繰り返し癖はある
画像ﾘﾝｸ[png]:i.imgur.com
681(1): (ﾜｯﾁｮｲ 5fc7-Yk6i) 2024/07/26(金)23:21 ID:???0 AAS
>>680
w
VRAMどれくらいあれば動くの？
682(2): (ﾜｯﾁｮｲ 3311-Mtf7) 2024/07/27(土)00:14 ID:s9nYYsMX0(1/3) AAS
>>681
量子化のレベルはIQ3_M(モデルサイズ55GB)で、64GBのunified memoryにロードしてる
意外と量子化による影響はあまり感じない(ちゃんと計測したらなんらかの劣化はあるだろうが)
683(1): (ﾜｯﾁｮｲ e720-7i3u) 2024/07/27(土)00:14 ID:lT0n9RUP0(1) AAS
>>680
いいねー
こういうオープンソースが増えるのは明るい未来に繋がる
684(1): (ﾜｯﾁｮｲ 6fa0-05lm) 2024/07/27(土)08:06 ID:???0 AAS
サイバーエージェント期待してる。量子化してください
685: (ﾜｯﾁｮｲ 32c7-wyzZ) 2024/07/27(土)08:58 ID:???0 AAS
>>682
ほー、123Bが55GBで済むのか
この休日に試してみようかな
686(1): (ﾜｯﾁｮｲ 3311-Mtf7) 2024/07/27(土)14:30 ID:s9nYYsMX0(2/3) AAS
>>684
外部ﾘﾝｸ:huggingface.co
687: (ﾜｯﾁｮｲ 7bc1-/CG0) 2024/07/27(土)15:18 ID:???0 AAS
>>683
オープンソースじゃないんだよなぁ
たぶんフラッグシップモデルの開示はする予定じゃなかったんだろうけど
オープンソースと言えるのはApache2.0ライセンスやMITライセンスのやつ
LlamaもGemmaも制限があるし、Mistral Large2は研究用だから研究にしか使えない
Gemmaライセンスは違法なことや公序良俗に反することに使うなってだけで制限が緩いけどね
688: (ﾜｯﾁｮｲ 3311-Mtf7) 2024/07/27(土)18:52 ID:s9nYYsMX0(3/3) AAS
上にあるサイバーエージェントのやつも試してみた
Finetuningでバカになってる感じもあまりないし、いいかもしれない
画像ﾘﾝｸ[png]:i.imgur.com
689(1): (ﾜｯﾁｮｲ 6fa0-05lm) 2024/07/27(土)20:21 ID:???0 AAS
>>686
流石だぜモモンガニキ、そこにシビれる!あこがれるゥ!
690(1): (ﾜｯﾁｮｲ 26de-FjlS) 2024/07/27(土)22:43 ID:???0 AAS
MacでLLM使うのってまだまだ難しい？
691: (ﾜｯﾁｮｲ 32c7-wyzZ) 2024/07/27(土)22:55 ID:???0 AAS
>>682
IQ3_M試してみたけど違和感ないね
ただ、Command R+より遅いなあ
いずれにしても選択肢が増えたのはいいことだわ
上下前次1-新書関写板覧索設栞歴
あと 311 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.155s*