[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
769(1): (ﾍﾞｰｲﾓ MM4e-/6wN) 08/02(金)12:44 ID:???M AAS
>>765
ありがとう。
確認してみます。
770(2): (ｵｲｺﾗﾐﾈｵ MM3f-lymj) 08/02(金)13:43 ID:???M AAS
>>769
作者です
jupyterに慣れてないとインストールがむずいと何回か言われたので、その場合はgithubのdiscussionにでも書いていただければ
771: (ﾜｯﾁｮｲ 26a8-wWBb) 08/02(金)20:59 ID:???0 AAS
>>770
了解です。
とりあえず調べながらやってみます。
772(1): (ｼｬﾁｰｸ 0C47-YM+E) 08/03(土)12:45 ID:???C AAS
kobold最新版でsseの問題解消されたっぽいな
まだ試してないが
773: (ﾜｯﾁｮｲ 83be-a6cz) 08/03(土)19:19 ID:???0 AAS
頭の良さと創造力が反比例してるのが画像生成AIと同じ傾向だな
あっちも新しいモデルになる程クオリティ上がる代わりに出せる絵の幅がどんどん減っていく
人間は頭良いほど創造力が高くなるからAIはやっぱ原理的に別物なんだな
774(1): (ﾜｯﾁｮｲ cfbc-eXHE) 08/03(土)19:23 ID:EbmL5lWm0(1) AAS
AI初心者なんですがトラブってるので教えてください
OllamaでモデルNinja-v1-NSFW-GGUFを実行した場合は正常にやり取りできるんですが
OllamaでモデルNinja-v1-NSFW-128k-GGUFを実行した場合は、やり取りの途中から勝手に意味不明な文字列を垂れ流すようになってしまいます
一旦こうなるとセッションを保存せずに終了して新しいセッションを開始しても意味不明な文字列を垂れ流すようになり、モデルを一旦削除するしか修正方法がなくなります
これって、モデルを作成する際のModelFileなど設定が悪いのしょうか？
それとも128kモデルの方はチャットボットのような使用目的では向いていないのでしょうか？
ダウンロード数は圧倒的に128kの方が多いのでモデルが原因の問題だとは思えないんですけども
AI初心者すぎて、なにをどうすれば問題を修正できるのか検討もつかない状態です
775(1): (ﾜｯﾁｮｲ 8fcf-mQXs) 08/03(土)23:03 ID:RggQ7Em20(1) AAS
>>770
初歩的な質問で申し訳ないのですが、インストール後の起動方法がよくわからないのですがどうすればいいですか？
776: (ﾜｯﾁｮｲ d311-oRc+) 08/04(日)00:00 ID:IVhBltvZ0(1) AAS
>>775
コマンドラインで”jupyter lab”を実行するとJupyterっていうWebアプリが開くと思います
そしたら、chat_gui.ipynbを左側のペインから開いて下さい
そしたら、”上部メニュー -> Run -> run all cells”とクリックすると、起動するはず
途中デフォルトのモデルダウンロードのメッセージとかあると思うけど、GGUFをすでに持ってるなら、飛ばして下さい
今ちょっと調べたら出てきたJupyterの使い方
外部ﾘﾝｸ:qiita.com
777: (ﾜｯﾁｮｲ ff7c-5fMY) 08/04(日)04:53 ID:???0 AAS
llama-3-elyza-jp-8bをLM Studioで使ったらちょっとでもエロ要素があると
"I cannot create explicit content."しか言わへんガチガチ倫理観で
どんだけ説得してもビクともせんのやが
koboldcppで使うと何故かユルユル倫理観なんや
最初はkoboldcppのChat PrePrompt機能がjailbreakになっとるんか？と思ったら
そうやなくてInstruct Tag Presetを(適切であろう)llama3 chatにしたらガチガチ倫理観になったんや
今度は逆にLM Studioの方でPresetをMistral Instractにしてみたらユルユル倫理観になった
これどういう仕組みなんや？？
778: (ﾜｯﾁｮｲ ff7c-5fMY) 08/04(日)05:32 ID:???0 AAS
いやLM StudioはDefault LM Studio Presetでもユルユルやったわ
わざわざllama3 V2プリセットを選んどったからガチガチになってたんか
何にしても適切な書式の指定が検閲のオン・オフを左右してることには変わらへんけど
779: (ﾜｯﾁｮｲ a332-a6cz) 08/04(日)06:26 ID:???0 AAS
>>772
1.72に更新したけど全然直ってないや
780: (ﾜｯﾁｮｲ 83a0-6w4f) 08/04(日)12:28 ID:???0 AAS
mmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufはまったく申し訳しないよ
逆に素直過ぎて、あれこれゲスいこと指示してやらないとエロくしてくれないまであるけど
781: (ﾄﾝﾓｰ MMc7-vkhg) 08/04(日)12:43 ID:???M AAS
EZO規制強すぎて笑う
rinnaのほうがそういう方面では使いやすいかも
782: (ﾜｯﾁｮｲ cfbc-eXHE) 08/04(日)20:54 ID:MD/t9U/C0(1) AAS
>>774
一応、自己解決したので同じ症状が発生した人用に書き残しておきます
Hugging FaceでLocal-Novel-LLM-projectが公開しているNinja-v1-NSFW-128k-GGUFを使用すると>>774の症状が発生していました
これを、Hugging Faceでmmngaが公開しているNinja-v1-NSFW-128k-ggufに変更したところ症状が発生しなくなりました
モデルが原因の問題のように思えましたが、もしかしたら使用したモデルと実行ツールの組み合わせなどが原因の可能性もあるかもしれません
とりあえず以上
783: (ﾜｯﾁｮｲ 03c6-e/SC) 08/05(月)13:38 ID:???0 AAS
てすと
784: (ﾜｯﾁｮｲ 83a0-6w4f) 08/05(月)15:32 ID:???0 AAS
よし為替がいい感じの時にグラボをいっぱい買うのだ
785: (ﾜｯﾁｮｲ 83a0-6w4f) 08/05(月)15:40 ID:???0 AAS
RTX4090-24Gがどれくらい安くなるか
786: (ﾜｯﾁｮｲ 83a0-6w4f) 08/05(月)16:01 ID:???0 AAS
RTX4090-24G、今３３万円くらいで今日下がり具合だと３０万円切るくらい安くなるやろな
120円まで行ったら２５万円くらいになるか
787: (ﾜｯﾁｮｲ cf7a-6w4f) 08/05(月)16:02 ID:???0 AAS
個人輸入するんか？
788: (ﾜｯﾁｮｲ 83a0-6w4f) 08/05(月)16:14 ID:???0 AAS
というか今グラボの在庫持ってる店、早く在庫を手放さないと死ぬぞ
上下前次1-新書関写板覧索設栞歴
あと 214 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.011s