[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
51: (ﾜｯﾁｮｲ 3f34-PFUh) 06/10(月)23:44:01.92 ID:???0 AAS
そういやraps pi AI出るっぽいけど流石にllmまともに動かないよね
141: (ﾜｯﾁｮｲ 7bbe-vjzl) 06/19(水)12:18:48.92 ID:???0 AAS
commandR+でもそれっぽい文章をつなぎ合わせて合成してるだけで意味は全然分かってないから
整合性が必要な話だとすぐ破綻するのな
エロ要素一切なしでヒロインの家の風呂が壊れたから近所の銭湯に行くって設定与えるだけで平気で
クラスメイとの男子が一緒に女風呂に入ってきやがる
171(2): (ﾜｯﾁｮｲ 37f2-A6Ya) 06/21(金)14:52:56.92 ID:3AADtcAX0(1/2) AAS
初心者ですみませんが、ローカルでCR＋使ってる人に質問です
Koboldで使おうと思ってるんだけど設定とかどうしてます？
Formatはinstract modeでInstruct Tag Preset はcommand rを使ってますが日本語で会話しようとしても英語やローマ字読みで返ってくることが多いですし、日本語で返ってきても言葉があやしい（例こんにちわ→こにちわ）、異常な長文等で返ってくる。
根本的になにか間違ってるのか知りたい
環境はWindows11で3090x2と3060x1で c4ai-command-r-plus-IQ3_M.ggufを使ってて理想としてはCR＋のデモみたいになればいいかなと思ってます。
225: (ﾜｯﾁｮｲ ef65-rlhc) 06/25(火)12:11:17.92 ID:???0 AAS
>>223
あとprefillね
あれに慣れるともうあれ無しじゃやってられなくなる
299: (ﾜｯﾁｮｲ 7230-o0uY) 06/30(日)23:35:11.92 ID:l+xb5G3F0(1) AAS
7Bでもそこそこ遊べるのに少し上を求めると70Bだの100Bだの400Bだのインフレし過ぎよね
316: (ﾜｯﾁｮｲ b68e-QEUw) 07/02(火)13:23:11.92 ID:???0 AAS
今ってエロとかマルチターンの指示への追従性含めた全体的な使用感(ベンチのスコアではなく)がCommand R Plusより良さげなOSSモデルってあるかな
まあ好みもあるし曖昧だとは思うんだけど
418: (ﾜｯﾁｮｲ 1f74-sPXK) 07/09(火)14:05:33.92 ID:???0 AAS
英語のchat arenaではllama3よりも点数高いから能力は高いと思うのよ
あとは日本語のデータたくさん食わしてやれれば
489(1): (ﾜｯﾁｮｲ 5332-urh9) 07/16(火)08:01:49.92 ID:???0 AAS
5070はVRAM 12GBみたいだし5080以上は高くて手が出しにくいから
3080 10GBから4070 ti superに換装しようと思ってるんだけどやっぱり迷うな
7Bを使えるようになったらだいぶ変わるんだろうか
531: (ｽﾌﾟﾌﾟ Sdaa-vJcf) 07/19(金)16:32:35.92 ID:???d AAS
どんぐりレベル4強制表示で立ててここへの誘導貼っとくに一票
687: (ﾜｯﾁｮｲ 7bc1-/CG0) 07/27(土)15:18:05.92 ID:???0 AAS
>>683
オープンソースじゃないんだよなぁ
たぶんフラッグシップモデルの開示はする予定じゃなかったんだろうけど
オープンソースと言えるのはApache2.0ライセンスやMITライセンスのやつ
LlamaもGemmaも制限があるし、Mistral Large2は研究用だから研究にしか使えない
Gemmaライセンスは違法なことや公序良俗に反することに使うなってだけで制限が緩いけどね
776: (ﾜｯﾁｮｲ d311-oRc+) 08/04(日)00:00:08.92 ID:IVhBltvZ0(1) AAS
>>775
コマンドラインで”jupyter lab”を実行するとJupyterっていうWebアプリが開くと思います
そしたら、chat_gui.ipynbを左側のペインから開いて下さい
そしたら、”上部メニュー -> Run -> run all cells”とクリックすると、起動するはず
途中デフォルトのモデルダウンロードのメッセージとかあると思うけど、GGUFをすでに持ってるなら、飛ばして下さい
今ちょっと調べたら出てきたJupyterの使い方
外部ﾘﾝｸ:qiita.com
951(1): (ﾜｯﾁｮｲ 6f87-BM1p) 09/03(火)18:15:24.92 ID:???0 AAS
>>946
MacBookProのM3Max/128GB
ロールプレイなら4t/sくらい出るけど小説とか長文吐かせると熱でクロック下がって2t/sくらいになる
ギリギリ実用速度という感じ
982(1): (ﾜｯﾁｮｲ 4b8e-bqpq) 09/06(金)23:59:03.92 ID:???0 AAS
AWQなら普通のTransformersで読み込めたよ
989: (ﾜｯﾁｮｲ 7fc6-JdDg) 09/08(日)20:14:04.92 ID:???0 AAS
>>978
>>985
フルCPUで0.5t/sで、
RTX4090に24GB分任せても0.7t/sじゃ、
そんなに速くはならないんだな。
まぁ他にも要因はあるんだろうけど。
やはり全部GPUにしないと
しかしそうすると、RTX4090で24GB載せて、残りCPUで0.7
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.454s*