[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
13: (ﾜｯﾁｮｲ 93c0-oLG6) 06/09(日)07:43:22.98 ID:???0 AAS
●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで
21(1): (ﾜｯﾁｮｲ ef09-UWRS) 06/09(日)21:14:09.98 ID:i6yuaFpz0(1/2) AAS
詳しい先輩方に聞きたい
チャット的な会話は求めてなくて日本語で質問した内容に詳しく答えてくれるモデルでおすすめはあります?GPUメモリは12GBです
52: (ﾜｯﾁｮｲ 6306-bALF) 06/11(火)00:15:43.98 ID:???0 AAS
Qwen2の0.5Bを量子化すれば動くんじゃね？
140(1): (ﾜｯﾁｮｲ aa24-acAo) 06/19(水)11:27:14.98 ID:0EXFqxDd0(1) AAS
>>137
ネガティブプロンプトではなく、WebUI側の仕組みというかある種の機能や。
LLM側はフツーに\n{{user}}込みのレスポンスを返してくるけど、WebUI側でその文字列を受け取った時点で打ち切る、みたいな
236: (ﾜｯﾁｮｲ 4311-4wBL) 06/26(水)11:12:00.98 ID:CeU/WWI20(1) AAS
LLMの出力を特定の形式に強制するGrammarって機能、食わず嫌いしてたけど使いこなせたらだいぶ強い気がする
ひらがなだけで喋るの強制させたりするのをモデル問わずできるのは可能性を感じる
312: !donguri (ﾜｯﾁｮｲ c787-wxoV) 07/02(火)03:11:13.98 ID:/KwMwbqd0(1/2) AAS
自前でLlama-3-Swallow-8B-v0.1の方をQ8_0に量子化してみたんけど、設定間違えたんだか会話が成立しないレベルでアホになってしまう……
素直に他の人が上げてくれるの待つしかないか……
385: (ﾜｯﾁｮｲ dbc8-bJ31) 07/07(日)00:15:55.98 ID:???0 AAS
>>382
結構複雑な指示を出しているのでそれが不適切だったんですね
意図されていない使用をしてすいませんでした
季節や場面を変えるだけでキャラが同じ行動や考えをし続けるので
物語がずっと先に進まないようになっていました
私の書き出し自体がモデルに不適切なんだと分かりました
ありがとうございます
445: (ﾜﾝﾄﾝｷﾝ MM3f-4Szj) 07/11(木)21:36:22.98 ID:???M AAS
ジッサイプロンプトはプログラムとして処理されるので
特性上否定系は無視されがちというか
肯定否定問わずそこに書かれた時点で「そういう概念が存在する」という認識の仕方をしてる気がする
生成画像みたいにネガティブプロンプトとして区別してるわけじゃないので
540: (ﾜｯﾁｮｲ 5f7a-DLab) 07/20(土)12:20:29.98 ID:???0 AAS
NPUとかVRAM後乗せサクサクのやつが発展する方に期待しとく
576: (ﾜｯﾁｮｲ 9b32-srET) 07/22(月)21:50:41.98 ID:???0 AAS
adaでなければなんとか
596: (ﾜｯﾁｮｲ 6f69-G/Qc) 07/24(水)02:31:24.98 ID:89UGJXd20(1) AAS
APIキー既に取得済みって前提になるが
外部ﾘﾝｸ:imgur.com
この一番上のAPIでChat Compilation選ぶとChat Compilation SourceからClaude選べんか？
あかんか？
803: (ﾍﾞｰｲﾓ MMff-NY0I) 08/07(水)11:31:42.98 ID:???M AAS
>>801
右側のキャラリストでその場にいないキャラは会話オフにしてる
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.028s