(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net

(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次 1-新
通常表示 512ﾊﾞｲﾄ分割ﾚｽ栞

560: yamaguti~貸 [sagezon.jp/dp/4794221657/okyuryo-22%23ConeNouHaisen] 2016/11/16(水) 23:15:42.85 ID:om/S71rA

http://rio2016.2ch.net/test/read.cgi/future/1478753976/795
> 795 ：オーバーテクナナシー：2016/11/16(水) 11:52:11.84 ID:BYy/Er5p
> 【 考察メモ 】深層学習モデル設計者 が、人間 脳の神経回路（コネクトーム）
> 形成・変容メカニズム から 学ぶべきこと、学ぶべきでないこと
> http://qiita.com/HirofumiYashima/items/abd68a6070a6ddf27ec2

http://rio2016.2ch.net/test/read.cgi/future/1478753976/844
> 844 : yamaguti~kasi 2016/11/16(水) 21:47:25.64 ID:om/S71rA
> >>795
>> あらゆる方向に（直交格子座標でなく）ニューロンを並べ ry すべての組み合わ ry
>>  「結合あり（非零の結合荷重）・結合なし（零の結合荷重）を定義」
>>  すると、ほとんどのニューロン ry 結合荷重は、零になり、疎な多次元行列 ry 計算量
> http://rio2016.2ch.net/test/read.cgi/future/1427220599/551#558
> http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#16
>
>> 『コネクトーム:脳の配線はどのように「わたし」をつくり出すのか』本 ry 『再』配線 ry
>> ・ ry 結合の軸索 or 樹状突起を切り落とす（＝結合荷重を零に ry と、
>> ・ ry 存在しなかった ry 樹状突起（軸索も？）を生長させる（結合荷重を零から非零に ry
>> との同時発生
> #25#26#33-36#75

http://rio2016.5ch.net/test/read.cgi/future/1427220599/560

562: 561 [sage] 2016/11/18(金) 23:35:37.68 ID:fnVQMg28

Page 16

の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。
この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry

HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、
複雑なデータ列の推論と予測 ry 多くの問題に有益 ry

疎分散表現
新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン
だけが一度にアクティブになるように抑制ニューロンによって保護されている。
よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ
のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry
「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry
。一つのアクティブなニューロンは何らかの意味表現に関わっているが、
いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry

ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。
ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry

ry リージョンが 20,000 ビットの入力 ry
。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry
ry 、またあるときは 9,000 個のビットが”1”であったりする。
HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、
入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。
ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、
10,000 ビットのうち約 200 ビットが常にアクティブになる。

リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が
ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry
。しかしながら、どちらの数も途方もなく大きい。
ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。

http://rio2016.5ch.net/test/read.cgi/future/1427220599/562

564: 563 [sage] 2016/11/20(日) 22:51:17.90 ID:gBNtPa9o

Page 18

される特別なケース ry

学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry
。視覚では静的な画像の推論がときには可能なものの、
物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry
網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。
脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。
時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。

センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても
混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry
。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry
これらのセンサの時間的な変化からもたらされるデータで訓練 ry

ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、
データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry
。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。
同時に複数の時系列が重なりあって起こることもある。
学習は継続的に行われ、またノイズがある中で行われなければならない。

シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを
HTM が学習すれば、 ry 現在の入力とその直前の入力に対して
次にどのパターンが現れる可能性が高いかを予測 ry

HTM の 4 つの基本的な機能に戻ろう：学習・推論・予測・行動16である。
各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。
生物学によれば、多くの新皮質のリージョンが行動を形成 ry
しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信

16 behavior

http://rio2016.5ch.net/test/read.cgi/future/1427220599/564

574: yamaguti~貸 [sage] 2016/12/01(木) 23:41:48.13 ID:7xq7MG9h

> 707 : オーバーテクナナシー 2016/11/23(水) 23:53:27.58 ID:uc5KgrCv
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> http://jp.techcrunch.com/2016/11/23/20161122googles-ai-translation-tool-seems-to-have-invented-its-own-secret-internal-language/

> 708 : オーバーテクナナシー 2016/11/24(木) 00:03:18.73 ID:FV9AmA+z
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> http://jp.techcrunch.com/2016/11/23/20161122googles-ai-translation-tool-seems-to-have-invented-its-own-secret-internal-language/
>
> javaでいう中間言語的なモノ？

>710 : yamaguti~kasi 2016/11/24(木) 00:24:02.77 ID:gvzci1Hb
>>707
>484 : 481 2016/10/05(水) 17:22:58.19 ID:Pxo2DYci
> ※b4b 幻影実在大深度再帰自律オ... 素因数分解 素韻枢分解 素因枢分解
> 透過可視ニューロン必然融合 ( Rite スタック ) 自律簡易言語創発
>
> ※b4c 自律イメージ言語 → イメージ言語ベースイメージ自律認識
>→ イメージベーステキスト非連続コード層創発 ry

>>384 >>484

>>708
>577 : yamaguti~kasi 2016/11/14(月) 15:49:45.51 ID:NnxIikfK
>> = 物理空間融合レンダ = 仮想空間融合レンダ = 意味空間融合レンダ = 人格システム
> 意味粒度概念空間

>>379

http://rio2016.5ch.net/test/read.cgi/future/1427220599/574

575: yamaguti~貸 [sage] 2016/12/02(金) 18:43:33.69 ID:HgThED5J

>> http://rio2016.2ch.net/test/read.cgi/future/1480118427/481-485
>>539-
第14回全脳アーキテクチャ勉強会 「深層学習を越える新皮質計算モデル」報告レポート
３．大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal Memory (HTM)理論 (NPO法人 あいんしゅたいん 松田卓也氏)
http://wba-initiative.org/ja/1653/

> コネクトームと新皮質内の情報の流れ

> ry 大きく分けて領野間 ry マクロ・コネクトームと、 ry ニューロン間のシナプス結合を表すミク ry

> 新皮質は6層 ry 、階層内(横方向)はミクロ・コネクトームによる密結合であり、主に時間系列 ry
> 。階層間(縦方向)はマクロ・ ry 疎結合であり、主に静的パターンを処理する。
> 最下層では知覚の入力および筋肉への出力が行われ、最上層は意識あるいは論理的思考を司る。
> 階層を上昇する情報はフィードフォワード(FF)あるいはボトムア ry 下降 ry バック(FB)あるいはトップダ ry
> 。これらの情報の流れはベイジアンネットワークの性質 ry

> ry 。深層学習におけるバック・プロパゲーションはFBとは別物である。実際の脳ではFB情報が重要 ry
> 。FF情報とFB情報は必ずしも対称的ではない。FB情報の方がむしろ多 ry
> 。さらに重要なのは階層内からの情報である。下の階層からくる情報は全体の5-10%にすぎない。
> ry HTM理論では階層内の横からの情報は遷移確率のような時間的情報である。
> ry 、ゼータ1ではFBを扱うがCLAでは扱えず、これはCLAの欠点である。

> 新皮質の6層構造間と領野間の情報の流れについても解明が進んでいる。
> 新皮質への情報はまず４層に入り、そこから2/3層に送られる。
> さらに上の階層へは直接の経路と視床を経由する2種類がある。
> 5層は運動を支配している。
> 6層からはFBで１層に入る。
> CLAアルゴリズムでは4層と2/3層は実装されているが、5層と6層は実装されていない。

http://rio2016.5ch.net/test/read.cgi/future/1427220599/575

576: 575 [sage] 2016/12/02(金) 18:45:32.64 ID:HgThED5J

> HTM理論の解説
>
> ry 発展に伴い実装 ry 。Numentaの資料により初代のゼータ1 から CLA, Gen3, そして将来の Gen4 ry
> 。以下では ゼータ1, CLA, Gen3 ry
> ゼータ1 ry 、教師なし学習、木構造の階層構造、上の階層ほど空間的・時間的に不変性 ry
> 、バッチ学習、学習と推論フェーズの分離 ry
> 。学習は階層ごとに行われ、階層を上がるに従い空間プーリングと時間プーリングによ ry 不変性 ry
> 。下層から上層へのFFだけでなく、上層から下層へのFBも実装されている。
> Vicarious ではゼータ1を発展させた Recursive Cortical Network 理論が実装 ry  CAPTCHA を破る ry
>
> CLAは神経科学の知見を取り込み、
> 神経細胞の細胞体、基底樹状突起、遠隔樹状突起、尖端樹状突起、軸索などとモデルを対応付けている。
> 新皮質の６層構造において情報は三方向 ry 下の階層、上の階層、同じ階層の横方向から入ってくるが、
> 下からの入力は5％ほどで、残りの95％は上と横 ry 。CLAにおいては遠隔樹状突起を経由しての横方向
> からの入力を扱うことが、通常のニューラルネットワークの理論と異なっている。
>
> CLAの主な特徴は、空間プーリング、時間プーリング、SDR (Sparse Distributed Representation, スパース表現)
> によるデータ表現である。空間プーリングとは、ry 。時間プーリングとは、 ry 。
> SDR は、一つのパターンを多数のニューロン(コラム)のうちの複数のニューロン(コラム)で表現することで、
> 豊富な表現力と頑強性を実現している。実際の脳ではSDRが採用されている。
> ry 反対に一つのパターンを一つのニューロンで表現する方法は Point Neuron あるいは Localist 表現と呼ぶ。
> SDRの幾何学的表現は、基底樹状突起をHTM空間における短いベクトルとし、
> 下の階層の長いベクトルを多数の短いベクトルの和として表現していると考えられる。
> これをSDRのハリネズミモデル ry モデルの具体例として脳の集団符号化方式がある。
> Gen3 は CLA の後継として Numenta が2014年 ry

http://rio2016.5ch.net/test/read.cgi/future/1427220599/576

上下前次 1-新書関写板覧索設栞歴

あと 264 ﾚｽあります
ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.015s