[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
161: (ﾜｯﾁｮｲ fea0-4P7d) 06/20(木)19:34 ID:???0 AAS
Ninja-v2で長い文章を書かせるにはパラメーター何いじればいい？
ローダーがllamaだとよくわからない
162: (ﾜｯﾁｮｲ 1f6a-Og7U) 06/20(木)20:06 ID:???0 AAS
アテンションで否定形もちゃんと処理されるでは？原理的には
163: (ﾜｯﾁｮｲ d305-q4hI) 06/20(木)20:36 ID:???0 AAS
LLMにネガティブプロンプトを入力しないっていうのはもう原則みたいなものだから
LLMの挙動の基本は行う事だから回避ささせる指示をすると逆に行うようになる
させたくない行動を指示するのではなく、させたい行動だけをしてもらう指示に言い換える必要がある
164: (ﾜｯﾁｮｲ 4332-acAo) 06/20(木)20:39 ID:???0 AAS
尻タブのヘルプを読んでると例文として否定形が出てくるからもうよく分かんねえや
165: (ﾜｯﾁｮｲ aa0d-0aQ6) 06/20(木)20:42 ID:???0 AAS
>>154
画像ﾘﾝｸ[png]:i.imgur.com
ええ？そんな項目ないけどどういうこと…？って混乱したけど思い出した
silly tavern を最初に起動した時にまずはシンプル表示から機能に慣れていきましょう的なメッセージが出て、それに従ってたの忘れてた
これ罠だな…
高度モードにしたらちゃんと色んな項目が出てきたよ
166: (ﾜｯﾁｮｲ db32-4P7d) 06/20(木)21:17 ID:???0 AAS
vecteus2はパラメータ指定して毒素とか上げれば普通にvecteus1並みのエロモデルになるけど、調整がムズイな
167: (ﾜｯﾁｮｲ fe7a-++1j) 06/20(木)22:48 ID:???0 AAS
早くAIちゃんと疑似同棲したいよ
初音ミクと結婚した男の気持ちに時代が追いつく
168: (ﾜｯﾁｮｲ cf11-/D4f) 06/20(木)23:19 ID:m1tM/GhJ0(1) AAS
下手にシステムプロンプトを充実させるより、LLM出力の冒頭部分を強制的にこっちで指定するようにした方が試行回数減ってストレスレスな気がしてきた
169: (ﾜｯﾁｮｲ afd0-3+9I) 06/21(金)00:00 ID:e9afd9d20(1) AAS
外部ﾘﾝｸ:tech.algomatic.jp
プロンプトハックをLLM自身にやらせる手法、なんだけどこれの例で出てくるプロンプトめっちゃ参考になりそう
170(2): (ﾜｯﾁｮｲ afbf-acAo) 06/21(金)03:08 ID:r8nldVMK0(1/2) AAS
変換ダルすぎて泣いちゃった……
外部ﾘﾝｸ:huggingface.co
171(2): (ﾜｯﾁｮｲ 37f2-A6Ya) 06/21(金)14:52 ID:3AADtcAX0(1/2) AAS
初心者ですみませんが、ローカルでCR＋使ってる人に質問です
Koboldで使おうと思ってるんだけど設定とかどうしてます？
Formatはinstract modeでInstruct Tag Preset はcommand rを使ってますが日本語で会話しようとしても英語やローマ字読みで返ってくることが多いですし、日本語で返ってきても言葉があやしい（例こんにちわ→こにちわ）、異常な長文等で返ってくる。
根本的になにか間違ってるのか知りたい
環境はWindows11で3090x2と3060x1で c4ai-command-r-plus-IQ3_M.ggufを使ってて理想としてはCR＋のデモみたいになればいいかなと思ってます。
172(2): (ﾜｯﾁｮｲ db32-4P7d) 06/21(金)15:51 ID:???0 AAS
>>171
どの量子化モデル使ってる？
llama.cppの対応が5月くらいまでいろいろあったから、古いのは使わないほうがいいかも（あるいは自分で量子化する）
dranger003/c4ai-command-r-plus-iMat.GGUF
ここのは比較的新しい。iQ4_xsがおすすめ
173(1): (ﾜｯﾁｮｲ cf11-/D4f) 06/21(金)16:48 ID:MA08bSb80(1) AAS
>>171
これはかなり環境依存だと思うが、うちのmacOS環境だとVRAMに乗り切らないのにn_gpu_layersを-1にしてたとき出力がバグってた
その環境だとVRAM 60GB相当だから多分ないと思うが、他にモデルが並走しててVRAM圧迫してる可能性はない？
あとは>>172の言う通り、GGUF/Kobold.cppのバージョンが古いとか
どうしてもダメなら、llama.cppでも試して見たらいいかも
174: (ﾜｯﾁｮｲ af51-acAo) 06/21(金)18:15 ID:r8nldVMK0(2/2) AAS
出たのでGGUF作りましたよっと
外部ﾘﾝｸ:huggingface.co
175: (ﾜｯﾁｮｲ 9a49-Tg6Z) 06/21(金)20:40 ID:???0 AAS
>>170
gguf助かる！！！
176: (ﾜｯﾁｮｲ db32-4P7d) 06/21(金)21:39 ID:???0 AAS
>>170
可能ならQ6_K_M頼むー
このレベルになるとiQだと性能なのか劣化なのか判断つきにくいー
177: (ﾜｯﾁｮｲ 3701-A6Ya) 06/21(金)22:36 ID:3AADtcAX0(2/2) AAS
>>172
>>173
助言ありがとうございます
最新版koboldでdranger003/c4ai-command-r-plus-iMat.GGUF を試したところ少し賢くなった気がしますが、すぐに崩壊してしまいます
PC再起動しての確認なので他のモデルが並走してはないはずです。
おま環かもしれないので一度llama.cppをインストールして試してみます
178(1): (ﾜｯﾁｮｲ c351-W7/q) 06/22(土)01:57 ID:NczgqD4j0(1/6) AAS
>>0176
Q6_K上げました
後はQ5_K_MとQ4_K_Mあたりも作るかな
179: (ｼｬﾁｰｸ 0Cf7-9UmW) 06/22(土)07:43 ID:???C AAS
>>178
ありがとう
帰ったら試すわ
180(1): (ﾜｯﾁｮｲ b321-S5ud) 06/22(土)10:16 ID:???0 AAS
silly tavernのチャットをStyle-Bert-VITS2を使ってAIの発言だけ読み上げって出来ないのかな
上下前次1-新書関写板覧索設栞歴
あと 822 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.011s