[過去ﾛｸﾞ] なんJLLM部 避難所 ★3 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
752: (ﾜｯﾁｮｲ 436a-6ASf) 07/31(水)22:26 ID:???0 AAS
中国人の性質を鑑みれはチートはしてるだろ
753: (ﾜｯﾁｮｲ 9b4f-+LaP) 07/31(水)22:44 ID:???0 AAS
ベンチマーク特化になってるかはベンチマークの領域外のテストすれば分かりやすい
それこそエロとかもその1つ
断られるのは別として、ベンチマーク性能は良いのにエロの表現とかが微妙なのは根本的にベンチ特化になっている
754: (ﾜｯﾁｮｲ b2ed-b6qp) 08/01(木)01:22 ID:???0 AAS
エロ性能で言えばllama3.1はゴミでしかないな
まあそもそも学習してないんだと思うが
755(1): (ﾜｯﾁｮｲ 4f32-05lm) 08/01(木)01:27 ID:???0 AAS
Llama 3.1 EZO 70BをQ5K_Mで試した
マジいいぞこれ。
いままでのllama3.1日本語では一番じゃないか？
ただ、規制は残ってるな
756: (ﾜｯﾁｮｲ 4f32-05lm) 08/01(木)01:41 ID:???0 AAS
続
規制の件だけど、自分から今のは少し不適切だったので、以下のように書き直しますね
って、言って書き直してきたのはワロタ
まあ、オリジナルよりは緩いわ
757: (ﾜｯﾁｮｲ 3eec-b6qp) 08/01(木)11:12 ID:???0 AAS
>>755
8Bと70Bしかないのか
758: (ﾜｯﾁｮｲ b274-nOcR) 08/01(木)12:51 ID:???0 AAS
405Bのggufあったとして1bitでも動かせない・・・
759(1): (ﾜｯﾁｮｲ 6fa0-05lm) 08/01(木)13:52 ID:???0 AAS
繰り返しを無くす方法
■temperature高くする。
temperatureが低すぎると、モデルが非常に確率の高い次の単語を選択し続けるため、繰り返しが生じやすくなります。
■top_p（トップPサンプリング）高くする。
確率の合計がP以上になるまで単語を選択
Pの値が低いと、選択肢が制限されるため、繰り返しが発生しやすくなります。逆にPの値が高すぎると、ランダム性が増し、
文脈にそぐわない単語が選ばれやすくなるため、適切なバランスを見つけることが大切です。
一般的にはP値を0.9前後から調整を始め、状況に応じて微調整します。
■top_k（トップKサンプリング）高くする。
K個の最も確率の高い単語から選択
省4
760: (ﾜｯﾁｮｲ 9321-Xto+) 08/01(木)14:28 ID:???0 AAS
sillyはデフォだと繰り返しﾍﾟﾅﾙﾃｨの値死んでるから、その辺り弄るとかなりマシになった。
EZO 70B量子化ありがたい、あとで試そう
761: (ﾜｯﾁｮｲ 9b91-1ExY) 08/01(木)15:46 ID:???0 AAS
どういうこと？
最新バージョンでの話？
762: (ﾜｯﾁｮｲ 26c2-wWBb) 08/02(金)07:27 ID:???0 AAS
>>0734
もしよければUIに何を使っているのか教えていただけないですか？
text-generation-webuiじゃないですよね。
763: (ﾜｯﾁｮｲ 53e1-AKUD) 08/02(金)08:25 ID:bxiekA220(1) AAS
>>759
解説ありがとう、勉強になるわ。
764(1): (ﾜｯﾁｮｲ 1277-dNt2) 08/02(金)08:51 ID:???0 AAS
この値にしておけばオッケーみたいな値はなくて変動すんのかな
765(1): (ﾜｯﾁｮｲ 1722-WmgS) 08/02(金)09:11 ID:???0 AAS
その人の自作UIでgithubにあげてくれててこのスレの73にリンクがあるよ
766: (ﾜｯﾁｮｲ 9732-W7ZS) 08/02(金)09:30 ID:???0 AAS
>>764
モデルとかプロンプトとか個人の好みとかによって最適な数値は変わる
767: (ﾜｯﾁｮｲ 9357-J9bf) 08/02(金)10:53 ID:???0 AAS
英語のモデル、リーダーボードに載ってる奴とかこのスレに上がってる奴いろいろ試したけど、結局Wizard-lm-2が複雑なプロンプトに対する理解では頭一つ抜けてる気がする。
自分の使い方だといかに複雑なプロンプトを理解できるかが一番重要だから、ずっとこれ一択になっちゃう
768(1): (ﾜｯﾁｮｲ 9357-J9bf) 08/02(金)10:58 ID:???0 AAS
本スレずっと落ちてるからとりあえず立てたよ
テンプレとか貼ってくれると助かる
なんJLLM部 ★8
2chｽﾚ:liveuranus
769(1): (ﾍﾞｰｲﾓ MM4e-/6wN) 08/02(金)12:44 ID:???M AAS
>>765
ありがとう。
確認してみます。
770(2): (ｵｲｺﾗﾐﾈｵ MM3f-lymj) 08/02(金)13:43 ID:???M AAS
>>769
作者です
jupyterに慣れてないとインストールがむずいと何回か言われたので、その場合はgithubのdiscussionにでも書いていただければ
771: (ﾜｯﾁｮｲ 26a8-wWBb) 08/02(金)20:59 ID:???0 AAS
>>770
了解です。
とりあえず調べながらやってみます。
上下前次1-新書関写板覧索設栞歴
あと 231 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.130s*