[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
127: (ﾜｯﾁｮｲ c336-LzEU) 06/18(火)00:41 ID:???0 AAS
む、2行目ちょっと日本語変だった。
v1で書かせてあった半分以上会話文で構成されたエロストーリーについて、v2で続き書かせたら8割以上ナレーションになっちゃった。
128: (ﾜｯﾁｮｲ ba2f-gpBf) 06/18(火)06:41 ID:???0 AAS
なりきりチャットボットを作るならどうすればええの？プロンプトだけじゃ無理？
129: (ﾜｯﾁｮｲ 9aa3-BtEB) 06/18(火)07:35 ID:???0 AAS
雑な質問が増えたな…
130: (ﾜｯﾁｮｲ 8a77-xShE) 06/18(火)08:52 ID:???0 AAS
誰でもできるようになる弊害やな
初心者質問スレってあんのかね
131: (ﾜｯﾁｮｲ afd8-gqBD) 06/18(火)15:55 ID:hzskWJ3z0(1) AAS
?使用アプリ バージョン
?GPU(VRAM)
?利用モデル
?目的
?うまくいってない成果物、エラーコードもしくは目標とするサンプル
これ埋めないと質問できないくらいでちょうどいいかもね
132(2): (ﾜｯﾁｮｲ aa3e-0aQ6) 06/18(火)22:59 ID:???0 AAS
早速初心者な質問で恐縮なんだけど
koboldでチャットモードで対話してて最初はとても自然な会話になってるのにだんだんAIが勝手にUserのセリフも言いだしちゃう
そうなるとアプリ再起動しないと直らなくてどんどん悪化するんだけど何か設定しておかなきゃ防げないの？
133(1): (ﾜｯﾁｮｲ db32-4P7d) 06/18(火)23:17 ID:???0 AAS
>>132
そのモデルが何か分からんけど、よくある現象ではある
試しに、chatmodeじゃなく、instractmodeにしてチャットしてみ
モデルによっては、その方がいい
あとkoboldでchatmode使うくらいなら、Silly Tavernかませる方がいろいろ捗るで
134: (ﾜｯﾁｮｲ aa3e-0aQ6) 06/18(火)23:23 ID:???0 AAS
>>133
sillyも使ってみていて、どっちでも起こる現象だったからkoboldの基本的な設定が出来てないのかなと
モデルによって違ってくるんですね
今試しにninja v1を入れてるので他のとinstractmodeも試してみます
135(2): (ﾜｯﾁｮｲ af3b-vjzl) 06/19(水)05:37 ID:clFQlJDO0(1/2) AAS
>>132
これ、テンプレに欲しいレベルなんだけど
stop wordsだとかの停止条件に"\n{{user}}"とか"\nUser:"入れておけばいいだけ
136: (ﾜｯﾁｮｲ 0a76-vjzl) 06/19(水)05:45 ID:scPQMIfv0(1) AAS
初心者質問ですいません。
asmrシナリオ作成におすすめのモデルって何がありますか？
今はそれとなくNinja-V1-nsfw-128k使ってます。
137(1): (ﾜｯﾁｮｲ 9bf6-0aQ6) 06/19(水)08:45 ID:???0 AAS
>>135
全然知らなかったよありがとう
画像生成のネガティブプロンプト的なものがあるのね
そういうコマンド？って他にも色々ありそうだけどどこで学べるの？
138: (ﾜｯﾁｮｲ 3794-SDwR) 06/19(水)08:53 ID:???0 AAS
そのモデルのプロンプトテンプレート次第だから、モデルカードを見たほうがいい
139: (ﾜｯﾁｮｲ ba6f-q4hI) 06/19(水)09:10 ID:???0 AAS
プロンプトテンプレートにも拡張性あるけど情報共有してるコミュニティがsilly tavernくらいしか見たことない
140(1): (ﾜｯﾁｮｲ aa24-acAo) 06/19(水)11:27 ID:0EXFqxDd0(1) AAS
>>137
ネガティブプロンプトではなく、WebUI側の仕組みというかある種の機能や。
LLM側はフツーに\n{{user}}込みのレスポンスを返してくるけど、WebUI側でその文字列を受け取った時点で打ち切る、みたいな
141: (ﾜｯﾁｮｲ 7bbe-vjzl) 06/19(水)12:18 ID:???0 AAS
commandR+でもそれっぽい文章をつなぎ合わせて合成してるだけで意味は全然分かってないから
整合性が必要な話だとすぐ破綻するのな
エロ要素一切なしでヒロインの家の風呂が壊れたから近所の銭湯に行くって設定与えるだけで平気で
クラスメイとの男子が一緒に女風呂に入ってきやがる
142(1): (ﾜｯﾁｮｲ aa7a-0aQ6) 06/19(水)12:33 ID:???0 AAS
>>140
なるほど、stop wordsだからその単語を検知した時点で出力停止ってことなのね
ということは自然なチャットを続けていくうちにどんどん回答が乱れて意味不明になっていくのはまた別の問題か
そっちは諦めるしかない感じ？
143: (ﾜｯﾁｮｲ 3fc0-DoMz) 06/19(水)13:13 ID:???0 AAS
>>142
oobaboogaかSillyTavernしか使ってないけどちゃんとしたLLM用UIならモデルごとにええ感じにしてくれるプリセットが用意されてるからそれを選ぶ
詳しく言うとCommand rとかInstructionモードじゃないと正しく返答できないモデルがあるからそれをちゃんと設定する(停止シーケンス：<|END_OF_TURN_TOKEN|>みたいみたいなやつ)
回答が乱れて意味不明になっていくのはモデルが対応してるコンテキスト長を超えてやりとりしたときに起きるやつかもしれない。モデルにもよると思う
Llama2とかコンテキスト長超えてくるとぶっ壊れてくるとかよく報告あったし
画像ﾘﾝｸ[jpeg]:i.imgur.com
144: (ﾜｯﾁｮｲ ba6f-q4hI) 06/19(水)14:04 ID:???0 AAS
ChatモデルのLLMは自分の発言もinputに含めて、尚かつuser以外からのinputだと変な挙動しはじめるっぽい
STでLLM同士会話させるとすぐ崩壊するし
適当な長さでセッション変えるしかない
145(1): (ﾜｯﾁｮｲ afaa-vjzl) 06/19(水)22:05 ID:clFQlJDO0(2/2) AAS
LLMの入力全体は
[System]←普通のシステムプロンプト、ロールプレイを交互にしましょうとか
[Charcter]←キャラクターの設定
[Message History]←直近nターンの会話履歴
{Post System}←末尾に入るので影響力の強いシステムプロンプト
<<START>>←会話ターン開始のトークン（モデルによる）
User: [User Query]
Assistant:
みたいな感じになってる
で、[Message History]を要約するとかの工夫を加えたシステムを作ればいろいろ改善すると思う
省1
146: (ﾜｯﾁｮｲ cf11-SDwR) 06/19(水)23:24 ID:???0 AAS
前半に要約入ると、でかいモデルで履歴が伸びたときeval timeがヤバい
上下前次1-新書関写板覧索設栞歴
あと 856 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.100s*