[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
144: (ﾜｯﾁｮｲ ba6f-q4hI) 2024/06/19(水)14:04 ID:???0 AAS
ChatモデルのLLMは自分の発言もinputに含めて、尚かつuser以外からのinputだと変な挙動しはじめるっぽい
STでLLM同士会話させるとすぐ崩壊するし
適当な長さでセッション変えるしかない
145(1): (ﾜｯﾁｮｲ afaa-vjzl) 2024/06/19(水)22:05 ID:clFQlJDO0(2/2) AAS
LLMの入力全体は
[System]←普通のシステムプロンプト、ロールプレイを交互にしましょうとか
[Charcter]←キャラクターの設定
[Message History]←直近nターンの会話履歴
{Post System}←末尾に入るので影響力の強いシステムプロンプト
<<START>>←会話ターン開始のトークン（モデルによる）
User: [User Query]
Assistant:
みたいな感じになってる
で、[Message History]を要約するとかの工夫を加えたシステムを作ればいろいろ改善すると思う
省1
146: (ﾜｯﾁｮｲ cf11-SDwR) 2024/06/19(水)23:24 ID:???0 AAS
前半に要約入ると、でかいモデルで履歴が伸びたときeval timeがヤバい
147(1): あぼーん [あぼーん] AAS
あぼーん
148(1): (ﾜｯﾁｮｲ 3fc8-4P7d) 2024/06/20(木)00:31 ID:???0 AAS
>>145
これ使ったらEasyNovelAssistantでより自分好みに色々できますかね
149: (ﾜｯﾁｮｲ 63a0-WNKB) 2024/06/20(木)00:43 ID:???0 AAS
>>147
祭りだったんよなあ
150(1): (ﾜｯﾁｮｲ cf11-SDwR) 2024/06/20(木)01:01 ID:???0 AAS
>>148
テンプレートはモデルごとに違うから適当にコピペしても上手く動かんよ
151(1): (ﾜｯﾁｮｲ 3fc8-4P7d) 2024/06/20(木)01:12 ID:???0 AAS
>>150
迅速な返信ありがとうございます
作成された方が多分引くくらいEasyNAを使わせていただいてるんですが
暴れ馬なんで言うことを聞いてくれなくて質問させていただきました
知識がないので「しないで」って言ったことをし続けてしまいます
152(3): (ﾜｯﾁｮｲ aa78-0aQ6) 2024/06/20(木)02:13 ID:???0 AAS
>>135
silky tavernでstop wordsの設定ってAI応答の構成タブにあるログのバイアスって項目でいいのかな？
\nUser:って入れて、禁止または強化ってことだから右の数値は-1にしてみたんだけど合ってる？
何か少し効いてるような気もするけど
でもやっぱりしばらくチャットしてるとAIがUserのセリフを言い始めてしまう
153(1): (ﾜｯﾁｮｲ afaa-vjzl) 2024/06/20(木)02:41 ID:fU3uwRI80(1) AAS
>>152
SillyTavernではCustom Stopping Stringsって呼ばれてる設定で
["\n{{user}}", "\nUser:", "</s>", "<|", "\n\n\n"]
例えばこんなの入れてみたらどうだろう
154(1): (ﾜｯﾁｮｲ aa24-acAo) 2024/06/20(木)02:55 ID:RDD54teE0(1) AAS
>>151
大半のLLMモデルは「〜しない」という指示に追従するのは不得意
サイズのデカい推論能力の高いモデルでも、「〜しない」より「〜しなさい」の方が追従しやすい
なので、可能であれば「あなたはAが好きではない」ではなく「あなたはAが嫌いだ」の方が与えるプロンプトとしては好ましいとされることが多い
>>152
全然違うと思う。Advanced Formatting（Aの文字のアイコン）の右下の方にあるCustom Stopping Stringsに入れる。
Silly Tavernの機能とLLMのメッセージとレスポンスが152の頭の中でごっちゃになってる気がする
Advanced Formattingで設定する各種プロンプト（のように見えるもの）はユーザーの入力（キャラカのプロンプトを含む）や設定を利用しているLLMのモデルに応じて整形して渡したり、
逆にLLMからのレスポンスをメッセージとして表示する前に、適切に整形するためのもの。
ここで{{user}}と表記されている部分にはユーザーの名前に入れ替わる
省1
155: (ﾜｯﾁｮｲ db32-4P7d) 2024/06/20(木)10:44 ID:???0 AAS
karakuri-ai/karakuri-lm-8x7b-instruct-v0.1
きたか！
156: (ﾜｯﾁｮｲ 3fc8-4P7d) 2024/06/20(木)13:32 ID:???0 AAS
>>152
ありがとうございます
ご指示通り禁止や否定的な指示表現ではなく明確な選好表現で
指示を記述してみます
157: (ﾜｯﾁｮｲ d305-q4hI) 2024/06/20(木)17:17 ID:???0 AAS
モデルにより差異はあるんやろうけどuserとassistant以外の人名が混乱する要素になってると感じる
158: (ｽｯｯﾌﾟ Sd4a-BtEB) 2024/06/20(木)17:50 ID:???d AAS
よくAIは否定形が苦手とか言われるけど
AIはこちらがインプットした言葉に影響を受けるし、いくら後ろに「〜しない」と付けても単語を分解されたら否定形も肯定形も無くなるわけで
つまり使ってほしくない言葉は否定形だろうとできるだけインプットしないに尽きる
というのがワイの解釈
159: (ﾜｯﾁｮｲ 9bfa-soJl) 2024/06/20(木)18:24 ID:???0 AAS
というかそういう話だと思ってたが
いくら周辺で否定しようとその単語を投入した時点で関連性が発生するから出現する方向に向かうってヤツ
160: (ﾜｯﾁｮｲ 4332-acAo) 2024/06/20(木)19:29 ID:???0 AAS
キャラの設定盛り盛りにするとバカになるよな
161: (ﾜｯﾁｮｲ fea0-4P7d) 2024/06/20(木)19:34 ID:???0 AAS
Ninja-v2で長い文章を書かせるにはパラメーター何いじればいい？
ローダーがllamaだとよくわからない
162: (ﾜｯﾁｮｲ 1f6a-Og7U) 2024/06/20(木)20:06 ID:???0 AAS
アテンションで否定形もちゃんと処理されるでは？原理的には
163: (ﾜｯﾁｮｲ d305-q4hI) 2024/06/20(木)20:36 ID:???0 AAS
LLMにネガティブプロンプトを入力しないっていうのはもう原則みたいなものだから
LLMの挙動の基本は行う事だから回避ささせる指示をすると逆に行うようになる
させたくない行動を指示するのではなく、させたい行動だけをしてもらう指示に言い換える必要がある
上下前次1-新書関写板覧索設栞歴
あと 839 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.019s