(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net

(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次 1-新

648: 645 [>620sage_so] 2017/02/08(水)02:04 ID:63WsxX0P(2/2) AAS
5) 自己調整的な受容野
実物の脳は高い可塑性38を示す。
新皮質のリージョンは、様々な変化に反応してまったく異なる事柄の表現を学習できる。
もし新皮質の一部が損傷したら、 ry 他の部分によって表現するように調整される。
もし感覚器官が損傷したり変化したりすると、
それに関連付けられていた部分の新皮質は何か他のことを表現するように調整される。
システムは自己調整的である。我々の HTM リージョンにも同様の柔軟性を求めたい。
あるリージョンに 10,000 個のカラムを割り当てたら、
入力を 10,000 個のカラムで最適に表現する方法を学習するべき ry
入力の統計的性質が変化したら、カラムは ry 最適に表現するように変化するべき ry
省10

649(2): 647 [>620sage_so] 2017/02/10(金)01:34 ID:Zwt3oCZz(1/2) AAS
Page 36

これら ry を達成するために、新しい学習規則は必要ない。
アクティブでないカラムをブーストし、粗さを一定に保つために周囲のカラムを抑制し、
入力に対するしきい値の最小値を設け、多くのシナプス候補を蓄積・維持し、
その貢献度に応じてシナプスを追加・削除することで、
全体効果としてカラムは望ましい効果を達成するように動的に設定される。

空間プーリングの詳細

ry

1) 固定の数のビットからなる入力から始める。
ry センサからのデータであったり、階層構造の下位の他のリージョンからであったりする。

650: 649 [>620sage_so] 2017/02/10(金)01:38 ID:Zwt3oCZz(2/2) AAS
2) この入力を受取る固定の数のカラムをリージョンに割り当てる。
各カラムはそれに連結された樹状突起セグメントを持つ。
各樹状突起セグメントは入力ビットの部分集合を表すシナプス候補の集合を持つ。
各シナプス候補は永続値を持つ。その永続値に基づいて、 ry 候補が有効になる。

3) 与えられた任意の入力について、
アクティブな入力ビットと接続している有効なシナプスの数を各カラムごとに求める。

4) アクティブなシナプスの数にブースト値40を乗じる。ブースト値は、そのカラムが
周囲のものに比べてどのくらい頻繁にアクティブになったかに基づいて動的に決 ry

5) ブースト後に最大のアクティベーションを得たカラムは、
抑制半径内の固定のパーセンテージのカラム以外のものを無効化する。
省8

651(1): 649 [>620sage_yosoku_so] 2017/02/11(土)12:01 ID:Xj0b950+(1/2) AAS
Page 37

時間プーリングがシーケンスを学習し、予測をすることを思い出して欲しい。
基本的な方法は、あるセルがアクティブになったら直前にアクティブであった他のセルとの
接続を形成することである。これによりセルは、そのセルの接続を調べることで
いつそれがアクティブになるかを予測 ry 。すべてのセルがこれを行えば、
全体としてそれらはシーケンスを記憶してそれを思い出し ry 予測できる。
ry シーケンスを記憶するための集中記憶装置はなく、 ry 記憶は各セルに分散配置される。
記憶が分散 ry 、システムはノイズや誤りに強くなる。 ry
、疎分散表現の重要な特徴を 2, 3 述べておく ry

ry あるリージョンが全部で 10,000 個あるセルのうち、常に 200 個のセルがアクティブ
省11

652(1): 651 [>620sage_yosoku_so] 2017/02/11(土)12:03 ID:Xj0b950+(2/2) AAS
HTM リージョンのセルはこの特徴を利用している。各セルの樹状突起セグメントは
同じセル内の他のセルへの接続関係の集合を持つ。樹状突起セグメントは
ある時点でのネットワークの状態を理解する ry ため、これらの接続を形成している。
周囲のアクティブなセルは数百から数千あるかも知れないが、
ry が接続しなければならないのはこのうちの 15 から 20 程度に過ぎない。
ry 15 個のセルがアクティブと分かれば、その大きなパターンが発生 ry ほぼ確信できる。
このテクニックを「サブサンプリング」と呼び、HTM アルゴリズム全体を通じて利用している。

各セルは多くの異なる分散パターンに関与し、また多くの異なるシーケンスに関与 ry
。ある特定のセルは数十から数百の時間的遷移に関与しているかも ry
。従って各セルは一つではなく、いくつかの樹状突起セグメントを持つ。
省1

653(1): 661 [>620sage_so_yosoku] 2017/02/12(日)14:29 ID:BZYpOz1d(1/2) AAS
Page 38

とが望ましい。しかし ry 樹状突起セグメントはいくつかの完全に異なるパターンに関して
接続を学習することができ、それでもうまく行く。
例えば、一つのセグメントが 4 つの異なるパターンのそれぞれについて 20 ry 都合 80 個
の接続を持つとする。そして、これらの接続のうち任意の 15 個がアクティブ
なときに樹状突起セグメントがアクティブとなるようにしきい値を設定する。
これにより誤りが発生する可能性が生じる。
異なるパターンが混在することで、 ry 15 個のしきい値に到達する可能性がある。
しかしながら、表現の疎な性質により、このような誤りは非常に起こりにくい。

では、10 個から 20 個の樹状突起セグメントを持つセルと数千個のシナプスが
省5

654: 652 [>620sage_yosoku_so] 2017/02/12(日)14:30 ID:BZYpOz1d(2/2) AAS
1) それぞれのアクティブなカラム ry の中のセルで予測状態のものを調べ、
アクティブにする。すべてのセルが予測状態でないなら、カラム中のすべての
セルをアクティブにする。結果として得られたアクティブなセルの集合は、
以前の入力の文脈の下での入力表現である。

2) リージョンのすべてのセルの各樹状突起セグメントについて、アクティブなセルに
接続されている接続状態のシナプスの数 ry 数がしきい値を超えていれば、
その樹状突起セグメントをアクティブとして印を付ける。
アクティブな樹状突起セグメントを持つセルを、
それがフィード・フォワード入力によって既にアクティブでない限り、予測状態にする。
アクティブな樹状突起を持たず、
省11

655: 620 2017/02/14(火)03:20 ID:/112L94Z(1) AAS
>> 2chｽﾚ:future Tango Sintaisei Bunpou

>>574 >384 >483-484 2chｽﾚ:future ImiRyuudo GainenKuukann
2chｽﾚ:future ImeejiGengo
2chｽﾚ:future ImeejiGengo
>379 >381 >>479 >>490 >>492 >>495 >>642

656(2): 653 [>620sage_yosoku_bunmyaku] 2017/02/15(水)22:26 ID:4UMkv2wE(1/2) AAS
Page 39

予測ができるように常に拡張したい。
このため、同じセルの二番目の樹状突起セグメントを取り上げ、訓練する。
二番目のセグメントとして、
以前の時刻ステップのシナプスの状態に最もマッチするものを一つ選択する。
このセグメントに対して、以前の時刻ステップのシステムの状態を用いて、
アクティブなセルに接続しているシナプスの永続値を増加させ、
非アクティブなセルに接続しているシナプスの永続値を減少させる。
シナプスの永続値に対するこれらの変更に一時的と印を付ける。

4) あるセルがフィード・フォワード入力によって予測状態からアクティブ状態41に
省11

657: 656 [>620sage_yosoku_bunmyaku] 2017/02/15(水)22:27 ID:4UMkv2wE(2/2) AAS
一次と可変長42のシーケンスと予測

ry

一つのカラムに対するセルの数を増 ry 減 ry の効果 ry ？
特に、１カラムに１つのセルしかないとき ry ？

以前用いた例では、カラム当たり４セルのアクティブなカラムが 100 個の場合、
入力の表現は 4100 通りの異なるコード化が可能 ry
。従って、同じ入力が様々な文脈の中で出現しても混乱しない ry
。例えば、もし入力パターンが単語を表すなら、リージョンは
同じ単語が何度も使われる多くの文章を混乱することなく

41 原文は“inactive to active”となっているが、web 上の forum で
省4

658: 2017/02/16(木)09:52 ID:n4SoUyRC(1) AAS
動画ﾘﾝｸ[YouTube]

659: [age] 2017/02/17(金)08:25 ID:C7chZT7r(1) AAS
関連スレ

技術的特異点/シンギュラリティ後の日本/世界経済 [無断転載禁止]©2ch.net
2chｽﾚ:eco

【人工知能】日本を救う究極の経済政策『シンギュラリティ』 [無断転載禁止]©2ch.net
2chｽﾚ:seiji

660(2): 656 [>620sage_bunmyaku_yosoku] 2017/02/17(金)13:48 ID:pF3vP0RD(1/3) AAS
Page 40

記憶できる。「犬」のような単語が異なる文脈の中でユニークな表現を持つ ry
。この能力により HTM リージョンは可変長の予測 ry

可変長予測は現在起きていることだけではなく、可変の長さの過去の文脈に基づいて予測する。
HTM リージョンは可変長の記憶である。

カラム当たり 5 セルに増やすと、 ry
可能なコード化の数は 5100 に増加し、4100 よりずっと大きくなる。
しかし、 ry 多くの現実的な問題においてこの容量の増加はあまり役に立たない ry

しかしながら、 ry 少なくすると、大きな違いが生まれる。
省9

661(2): 660 [>620sage_bunmyaku_yosoku] 2017/02/17(金)13:49 ID:pF3vP0RD(2/3) AAS
時間的理解と静的理解とでは、異なる推論メカニズム ry
一方は可変長の文脈に基づいてパターンのシーケンスを理解し、予測をする必要がある。
他方は時間的文脈を使わずに静的な空間的パターンを理解する必要がある。
カラム当たり複数のセルを持つ HTM リージョンは時間に基づくシーケンスを理解
するのに理想的であり、カラム当たり１セルの HTM リージョンは空間的パターンを理解
するのに理想的である。
Numenta では、カラム当たり１セルのリージョンを視覚問題に適用した実験を数多く実施 ry
重要な概念だけ述べる。

HTM リージョンにイメージを入力すると、リージョン内のカラムは画素の共通の空間的配列
の表現を学習する。学習するパターンの種類は新皮質の V1 野
省4

662: 620 2017/02/17(金)14:23 ID:pF3vP0RD(3/3) AAS
>> 2chｽﾚ:future
>　　・唯一無二派
>　　・客観派
自動憑依余地

>　　　　・脳拡張派
連続度 ⇔ 工事による影響
2chｽﾚ:future haamonii

>　　・電脳派
粒度 ( 分解能 ) : 正確性

2chｽﾚ:future SaitouSensei BCI Habu
省6

663: 異次元騎士カズマ 2017/02/17(金)19:09 ID:XMFDn/Yv(1) AAS
俺は敵の海賊島に潜入し，船長の部屋に乗り込んだ。誰もいない。
くそっ，ヤツはどこだっ！
とそこで，ベッドの上に鎖で縛り付けられている黒人娘を見つけた。
彼女は叫んだ「カズマ！来てくれたの？」
俺にはこんな丸顔の黒人女は知り合いにいないのだが……ってマノン？

そんな馬鹿な，彼女は卵形の顔をしていたし，薔薇色の肌だった。
そして二重で勝気なグリーンの瞳を持っているんだ。
しかしそれは間違いなくマノンだった。
顔と肌はボコボコに殴られ腫れて黒ずんでいて，片目はつぶれている。
左脚は膝から逆方向にまがっており，歯も１本も残っていない。
省10

664: 異次元騎士カズマ 2017/02/18(土)08:55 ID:Uf5aHGu8(1) AAS
工知能で自我・魂が作れるか [無断転載禁止]©2ch.net
202 : 異次元騎士カズマ2017/02/17(金) 19:10:13.24 ID:XMFDn/Yv
俺は敵の海賊島に潜入し，船長の部屋に乗り込んだ。誰もいない。
くそっ，ヤツはどこだっ！
とそこで，ベッドの上に鎖で縛り付けられている黒人娘を見つけた。
彼女は叫んだ「カズマ！来てくれたの？」
俺にはこんな丸顔の黒人女は知り合いにいないのだが……ってマノン？

そんな馬鹿な，彼女は卵形の顔をしていたし，薔薇色の肌だった。
そして二重で勝気なグリーンの瞳を持っているんだ。
しかしそれは間違いなくマノンだった。
省12

665(2): 660 [>620sage_bunmyaku_yosoku] 2017/02/19(日)00:40 ID:Iy/nas+o(1/2) AAS
Page 41

もしリージョンへの入力画像が、垂直な線が右に移動するものだったら ry ？
カラム当たり１セルしかなかったら、線が次に左又は右に現れること43を予測できる ry
。線が過去にどこにあったか知っているという文脈を使うことができないため ry
移動していることを知ることはできない。
このようなカラム当たり１セルのものは、新皮質の「複雑型細胞」44のように振舞う ry
。そのようなセルの予測出力は、 ry 動いていようがいまいが
異なる位置にある視覚的な線に対してアクティブになるだろう。
このようなリージョンは異なるイメージを区別する能力を保持する一方で、
平行移動や大きさの変化に対して安定 ry
省4

666: 665 [>620sage_bunmyaku_yosoku] 2017/02/19(日)00:41 ID:Iy/nas+o(2/2) AAS
これらをまとめ ry 仮説 ry
新皮質は一次と可変長の両方の推論及び予測 ry
。新皮質の各リージョンには 4 又は 5 層のセルがある。
ry それらはすべてカラム単位で応答する性質 ry 水平方向に大きな接続性 ry
。新皮質のセルの層は ry HTM の推論と学習に似たことを実行しているのではないか ry
。異なる層のセルは異なる役割 ry 。例えば解剖学によれば
第 6 層は階層構造のフィードバックを形成し、第 5 層は運動の動作に関わっている。
。異なる層のセルは異なる役割 ry
解剖学 ry 6 層は階層構造のフィードバックを形成し、第 5 層は運動の動作 ry
。セルの 2 つの主要なフィード・フォワード層は第 4 層と第 3 層である。
省13

667(1): 665 [>620sage_yosoku] 2017/02/20(月)00:16 ID:PjnuggmX(1) AAS
Page 42

ている。センサ入力に近いリージョンでは、
一次記憶を実行するニューロンの層が空間的不変性に有利であるため役に立つ。

ry 一次（カラム当たり１セル）の HTM リージョンを画像認識問題に適用する実験 ry
可変長（カラム当たり複数セル）の ry に可変長のシーケンスを理解・予測させる実験 ry
。将来 ry 一つのリージョンに混在させ、他の目的にもアルゴリズムを拡張 ry
しかしながら、一つの層と等価なカラム当たり複数セルの構造が、
単体であれ複数階層であれ、多くの興味深い問題を取り扱いうる ry

上下前次 1-新書関写板覧索設栞歴

あと 173 ﾚｽあります
ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.039s