(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net

(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次 1-新

644(1): 643 2017/02/03(金)08:50 ID:qVY5ajPD(2/2) AAS
シナプス候補
ry 、樹状突起セグメントはシナプス候補のリストを持つ。
ry 候補は永続値 ry がしきい値を超えたら有効に機能するシナプスとなる。

学習
学習では樹状突起セグメント上のシナプス候補の永続値を増加・減少させる。
ry 用いられる規則は「ヘブの学習規則」35に似ている。
例えば、ある樹状突起セグメントがしきい値以上の入力
を受け取ったためにセルがアクティブに ry シナプスの永続値を修正する。
シナプスがアクティブであり、従ってセルがアクティブになることに貢献した場合、
その永続値を増 ry 。ry がアクティブではなく ry 貢献しなかった場合、その
省4

645(3): 643 [>620sage_so] 2017/02/05(日)14:16 ID:P54mEcWs(1/2) AAS
Page 34

永続値を減 ry 永続値を更新する正確な条件は、空間プーリングと時間プ ry とでは異な ry

空間プーリングの概念

空間プーリングの最も基本的な機能はリージョンへの入力を疎なパターンに変換 ry
。シーケンスを学習して予測 ry 疎分散パターンから始めることが必要 ry
。空間プーリング ry いくつかの到達目標がある。

1) すべてのカラムを使用する
HTM リージョンは入力の共通したパターンに対する表現を学習するための
固定数のカラムがある。一つの目的は、全体の ry すべてのカラムが確かに、 ry 学習 ry
。決してアクティブにならないようなカラムは必要でない。そうならないために、
省6

646: 645 [>620sage_so] 2017/02/05(日)14:17 ID:P54mEcWs(2/2) AAS
2) 望ましい密度を維持する
リージョンは入力に対する疎な表現を形成する必要がある。
最大の入力を受け取ったカラムは周囲のカラムを抑制する。
抑制範囲を決める半径は、そのカラムの受容野37のサイズに比例する
（従ってまた、小さなサイズからリージョン全体に至る範囲を取る）。
抑制半径の範囲内では、多くのアクティブな入力を受け取ったわずかなパーセンテージ
のカラムだけを「勝者」とする。その他のカラムは無効化される。
（抑制「半径」の語感は二次元状に配置されたカラムを暗示しているが、
この概念は他のトポロジにも適用できる）

36 boost。後押しする、増強するなどの意。後述のアルゴリズムでブースト値という変数 ry
省1

647(1): 645 [>620sage_so] 2017/02/08(水)02:03 ID:63WsxX0P(1/2) AAS
Page 35

3) 些細なパターンを避ける
すべてのカラムが些細ではない入力パターンを表すこと ry は、
カラムがアクティブになる ry 最小のしきい値を設定することで達成 ry
。例えば、しきい値を 50 とすると、カラムがアクティブになるには
その樹状突起セグメント上のアクティブなシナプスが 50 個以上必要であり、
ry あるレベル以上に複雑なパターンだけが表現される ry

4) 余分な接続関係を避ける
よく注意しないと、あるカラムが巨大な数の有効なシナプスを保持する ry
。すると、あまり関連性のない多くの異なる入力パターンに強く反応するようになる。
省4

648: 645 [>620sage_so] 2017/02/08(水)02:04 ID:63WsxX0P(2/2) AAS
5) 自己調整的な受容野
実物の脳は高い可塑性38を示す。
新皮質のリージョンは、様々な変化に反応してまったく異なる事柄の表現を学習できる。
もし新皮質の一部が損傷したら、 ry 他の部分によって表現するように調整される。
もし感覚器官が損傷したり変化したりすると、
それに関連付けられていた部分の新皮質は何か他のことを表現するように調整される。
システムは自己調整的である。我々の HTM リージョンにも同様の柔軟性を求めたい。
あるリージョンに 10,000 個のカラムを割り当てたら、
入力を 10,000 個のカラムで最適に表現する方法を学習するべき ry
入力の統計的性質が変化したら、カラムは ry 最適に表現するように変化するべき ry
省10

649(2): 647 [>620sage_so] 2017/02/10(金)01:34 ID:Zwt3oCZz(1/2) AAS
Page 36

これら ry を達成するために、新しい学習規則は必要ない。
アクティブでないカラムをブーストし、粗さを一定に保つために周囲のカラムを抑制し、
入力に対するしきい値の最小値を設け、多くのシナプス候補を蓄積・維持し、
その貢献度に応じてシナプスを追加・削除することで、
全体効果としてカラムは望ましい効果を達成するように動的に設定される。

空間プーリングの詳細

ry

1) 固定の数のビットからなる入力から始める。
ry センサからのデータであったり、階層構造の下位の他のリージョンからであったりする。

650: 649 [>620sage_so] 2017/02/10(金)01:38 ID:Zwt3oCZz(2/2) AAS
2) この入力を受取る固定の数のカラムをリージョンに割り当てる。
各カラムはそれに連結された樹状突起セグメントを持つ。
各樹状突起セグメントは入力ビットの部分集合を表すシナプス候補の集合を持つ。
各シナプス候補は永続値を持つ。その永続値に基づいて、 ry 候補が有効になる。

3) 与えられた任意の入力について、
アクティブな入力ビットと接続している有効なシナプスの数を各カラムごとに求める。

4) アクティブなシナプスの数にブースト値40を乗じる。ブースト値は、そのカラムが
周囲のものに比べてどのくらい頻繁にアクティブになったかに基づいて動的に決 ry

5) ブースト後に最大のアクティベーションを得たカラムは、
抑制半径内の固定のパーセンテージのカラム以外のものを無効化する。
省8

651(1): 649 [>620sage_yosoku_so] 2017/02/11(土)12:01 ID:Xj0b950+(1/2) AAS
Page 37

時間プーリングがシーケンスを学習し、予測をすることを思い出して欲しい。
基本的な方法は、あるセルがアクティブになったら直前にアクティブであった他のセルとの
接続を形成することである。これによりセルは、そのセルの接続を調べることで
いつそれがアクティブになるかを予測 ry 。すべてのセルがこれを行えば、
全体としてそれらはシーケンスを記憶してそれを思い出し ry 予測できる。
ry シーケンスを記憶するための集中記憶装置はなく、 ry 記憶は各セルに分散配置される。
記憶が分散 ry 、システムはノイズや誤りに強くなる。 ry
、疎分散表現の重要な特徴を 2, 3 述べておく ry

ry あるリージョンが全部で 10,000 個あるセルのうち、常に 200 個のセルがアクティブ
省11

652(1): 651 [>620sage_yosoku_so] 2017/02/11(土)12:03 ID:Xj0b950+(2/2) AAS
HTM リージョンのセルはこの特徴を利用している。各セルの樹状突起セグメントは
同じセル内の他のセルへの接続関係の集合を持つ。樹状突起セグメントは
ある時点でのネットワークの状態を理解する ry ため、これらの接続を形成している。
周囲のアクティブなセルは数百から数千あるかも知れないが、
ry が接続しなければならないのはこのうちの 15 から 20 程度に過ぎない。
ry 15 個のセルがアクティブと分かれば、その大きなパターンが発生 ry ほぼ確信できる。
このテクニックを「サブサンプリング」と呼び、HTM アルゴリズム全体を通じて利用している。

各セルは多くの異なる分散パターンに関与し、また多くの異なるシーケンスに関与 ry
。ある特定のセルは数十から数百の時間的遷移に関与しているかも ry
。従って各セルは一つではなく、いくつかの樹状突起セグメントを持つ。
省1

653(1): 661 [>620sage_so_yosoku] 2017/02/12(日)14:29 ID:BZYpOz1d(1/2) AAS
Page 38

とが望ましい。しかし ry 樹状突起セグメントはいくつかの完全に異なるパターンに関して
接続を学習することができ、それでもうまく行く。
例えば、一つのセグメントが 4 つの異なるパターンのそれぞれについて 20 ry 都合 80 個
の接続を持つとする。そして、これらの接続のうち任意の 15 個がアクティブ
なときに樹状突起セグメントがアクティブとなるようにしきい値を設定する。
これにより誤りが発生する可能性が生じる。
異なるパターンが混在することで、 ry 15 個のしきい値に到達する可能性がある。
しかしながら、表現の疎な性質により、このような誤りは非常に起こりにくい。

では、10 個から 20 個の樹状突起セグメントを持つセルと数千個のシナプスが
省5

654: 652 [>620sage_yosoku_so] 2017/02/12(日)14:30 ID:BZYpOz1d(2/2) AAS
1) それぞれのアクティブなカラム ry の中のセルで予測状態のものを調べ、
アクティブにする。すべてのセルが予測状態でないなら、カラム中のすべての
セルをアクティブにする。結果として得られたアクティブなセルの集合は、
以前の入力の文脈の下での入力表現である。

2) リージョンのすべてのセルの各樹状突起セグメントについて、アクティブなセルに
接続されている接続状態のシナプスの数 ry 数がしきい値を超えていれば、
その樹状突起セグメントをアクティブとして印を付ける。
アクティブな樹状突起セグメントを持つセルを、
それがフィード・フォワード入力によって既にアクティブでない限り、予測状態にする。
アクティブな樹状突起を持たず、
省11

655: 620 2017/02/14(火)03:20 ID:/112L94Z(1) AAS
>> 2chｽﾚ:future Tango Sintaisei Bunpou

>>574 >384 >483-484 2chｽﾚ:future ImiRyuudo GainenKuukann
2chｽﾚ:future ImeejiGengo
2chｽﾚ:future ImeejiGengo
>379 >381 >>479 >>490 >>492 >>495 >>642

656(2): 653 [>620sage_yosoku_bunmyaku] 2017/02/15(水)22:26 ID:4UMkv2wE(1/2) AAS
Page 39

予測ができるように常に拡張したい。
このため、同じセルの二番目の樹状突起セグメントを取り上げ、訓練する。
二番目のセグメントとして、
以前の時刻ステップのシナプスの状態に最もマッチするものを一つ選択する。
このセグメントに対して、以前の時刻ステップのシステムの状態を用いて、
アクティブなセルに接続しているシナプスの永続値を増加させ、
非アクティブなセルに接続しているシナプスの永続値を減少させる。
シナプスの永続値に対するこれらの変更に一時的と印を付ける。

4) あるセルがフィード・フォワード入力によって予測状態からアクティブ状態41に
省11

657: 656 [>620sage_yosoku_bunmyaku] 2017/02/15(水)22:27 ID:4UMkv2wE(2/2) AAS
一次と可変長42のシーケンスと予測

ry

一つのカラムに対するセルの数を増 ry 減 ry の効果 ry ？
特に、１カラムに１つのセルしかないとき ry ？

以前用いた例では、カラム当たり４セルのアクティブなカラムが 100 個の場合、
入力の表現は 4100 通りの異なるコード化が可能 ry
。従って、同じ入力が様々な文脈の中で出現しても混乱しない ry
。例えば、もし入力パターンが単語を表すなら、リージョンは
同じ単語が何度も使われる多くの文章を混乱することなく

41 原文は“inactive to active”となっているが、web 上の forum で
省4

658: 2017/02/16(木)09:52 ID:n4SoUyRC(1) AAS
動画ﾘﾝｸ[YouTube]

660(2): 656 [>620sage_bunmyaku_yosoku] 2017/02/17(金)13:48 ID:pF3vP0RD(1/3) AAS
Page 40

記憶できる。「犬」のような単語が異なる文脈の中でユニークな表現を持つ ry
。この能力により HTM リージョンは可変長の予測 ry

可変長予測は現在起きていることだけではなく、可変の長さの過去の文脈に基づいて予測する。
HTM リージョンは可変長の記憶である。

カラム当たり 5 セルに増やすと、 ry
可能なコード化の数は 5100 に増加し、4100 よりずっと大きくなる。
しかし、 ry 多くの現実的な問題においてこの容量の増加はあまり役に立たない ry

しかしながら、 ry 少なくすると、大きな違いが生まれる。
省9

661(2): 660 [>620sage_bunmyaku_yosoku] 2017/02/17(金)13:49 ID:pF3vP0RD(2/3) AAS
時間的理解と静的理解とでは、異なる推論メカニズム ry
一方は可変長の文脈に基づいてパターンのシーケンスを理解し、予測をする必要がある。
他方は時間的文脈を使わずに静的な空間的パターンを理解する必要がある。
カラム当たり複数のセルを持つ HTM リージョンは時間に基づくシーケンスを理解
するのに理想的であり、カラム当たり１セルの HTM リージョンは空間的パターンを理解
するのに理想的である。
Numenta では、カラム当たり１セルのリージョンを視覚問題に適用した実験を数多く実施 ry
重要な概念だけ述べる。

HTM リージョンにイメージを入力すると、リージョン内のカラムは画素の共通の空間的配列
の表現を学習する。学習するパターンの種類は新皮質の V1 野
省4

662: 620 2017/02/17(金)14:23 ID:pF3vP0RD(3/3) AAS
>> 2chｽﾚ:future
>　　・唯一無二派
>　　・客観派
自動憑依余地

>　　　　・脳拡張派
連続度 ⇔ 工事による影響
2chｽﾚ:future haamonii

>　　・電脳派
粒度 ( 分解能 ) : 正確性

2chｽﾚ:future SaitouSensei BCI Habu
省6

663: 異次元騎士カズマ 2017/02/17(金)19:09 ID:XMFDn/Yv(1) AAS
俺は敵の海賊島に潜入し，船長の部屋に乗り込んだ。誰もいない。
くそっ，ヤツはどこだっ！
とそこで，ベッドの上に鎖で縛り付けられている黒人娘を見つけた。
彼女は叫んだ「カズマ！来てくれたの？」
俺にはこんな丸顔の黒人女は知り合いにいないのだが……ってマノン？

そんな馬鹿な，彼女は卵形の顔をしていたし，薔薇色の肌だった。
そして二重で勝気なグリーンの瞳を持っているんだ。
しかしそれは間違いなくマノンだった。
顔と肌はボコボコに殴られ腫れて黒ずんでいて，片目はつぶれている。
左脚は膝から逆方向にまがっており，歯も１本も残っていない。
省10

上下前次 1-新書関写板覧索設栞歴

あと 177 ﾚｽあります
ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.016s