(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
557(3): 556 2016/11/15(火)17:25 ID:miLjs+zj(2/4) AAS
Page 14
階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry
学習時間とメモリ消費を非常に節約する。
説明のため、視覚 ry 。階層構造の最下位レベルでは、
脳は縁13や角などの視覚のごく一部分に関する情報を格納する。
縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry
曲線や模様などのより複雑な構成要素に集約される。
円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry
。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの
高レベルな物体の特徴を表す。
省6
558(1): 557 2016/11/15(火)17:26 ID:miLjs+zj(3/4) AAS
一つの HTM 階層構造はいくつの事柄を学習 ry ？
言い換えれば、階層構造にはいくつのレベルが必要 ry ？
各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry
HTM は入力の統計及び割り当てられたリソースの量とから、
各レベルの最適な表現を自動的に学習 ry
多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、
従って必要となる階層構造のレベルはより少 ry
少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry
ここからは、視覚の推論14のような難しい問題について述べる
（推論はパターン認識と似 ry ）。しかし多くの価値ある問題は視覚より単純で、
省7
559: yamaguti~貸 2016/11/15(火)20:11 ID:miLjs+zj(4/4) AAS
>> 2chｽﾚ:future
レンダリングなし ( 合成の単なる発展系 ? )
外部ﾘﾝｸ:google.jp
560: yamaguti~貸 [sagezon.jp/dp/4794221657/okyuryo-22%23ConeNouHaisen] 2016/11/16(水)23:15 ID:om/S71rA(1) AAS
2chｽﾚ:future
> 795 ：オーバーテクナナシー：2016/11/16(水) 11:52:11.84 ID:BYy/Er5p
> 【 考察メモ 】深層学習モデル設計者 が、人間 脳の神経回路（コネクトーム）
> 形成・変容メカニズム から 学ぶべきこと、学ぶべきでないこと
> 外部ﾘﾝｸ:qiita.com
2chｽﾚ:future
> 844 : yamaguti~kasi 2016/11/16(水) 21:47:25.64 ID:om/S71rA
> >>795
>> あらゆる方向に（直交格子座標でなく）ニューロンを並べ ry すべての組み合わ ry
>> 「結合あり（非零の結合荷重）・結合なし（零の結合荷重）を定義」
省9
561(3): 557 2016/11/17(木)21:05 ID:G0S5ouMa(1) AAS
Page 15
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry
しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン
階層構造に連結されたリージョン15の表現は、生物学から ry
新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry
基づいて、新皮質を異なる領域ないしリージョンに区分けする。
あるリージョンはセンサから直接入力 ry
、他のリージョンは他のいくつかのリージョンを経由 ry
。階層構造を決 ry ージョ ry ョンへの接続関係 ry
省11
562(4): 561 2016/11/18(金)23:35 ID:fnVQMg28(1) AAS
Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。
この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、
複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現
新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン
だけが一度にアクティブになるように抑制ニューロンによって保護されている。
よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ
のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry
省16
563(3): 562 2016/11/19(土)21:31 ID:gXSL1qpI(1) AAS
Page 17
図 １-４ HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割
時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。
ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry
。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、
ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry
手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。
省6
564(4): 563 2016/11/20(日)22:51 ID:gBNtPa9o(1) AAS
Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry
。視覚では静的な画像の推論がときには可能なものの、
物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry
網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。
脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。
時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても
混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry
省15
565: yamaguti~貸 [本スレsage] 2016/11/21(月)23:55 ID:6/tm5rB/(1) AAS
>>554
AI エンジン ハードウェア
外部ﾘﾝｸ[html]:news.mynavi.jp
> 高効率の人工知能ハードウェアを開発するDeep Insightsを創立 ry
> 開発するハードウェアはノイマン型 ry Deep Learningなど ry 大幅に高速化 ry
> 7nmプロセスを使って速度と集積密度の双方を上げることで10倍、
> 磁界結合による ry を多チャンネル化(メモリ帯域100TB/s)してダイ上に ry 10倍、
> ダイナミックな計算精度変更を可能にして、低精度演算 ry 10倍 ry 全体では1,000倍
566: yamaguti~貸 2016/11/22(火)23:37 ID:fDw5z9zc(1) AAS
> ダイナミックな計算精度変更
一例 URR ( 浜田穂積先生 )
567(5): 564 2016/11/23(水)12:51 ID:IM1cuRG2(1/2) AAS
Page 19
じている。よって行動は現在の HTM の実装に含まれていない。 ry
学習
HTM リージョンは ry パターンとパターンのシーケンスを見つけることで、
その世界を学習する。 ry 入力が何を表しているのかを「知って」はいない。
ry 統計的 ry 入力ビット ry 頻繁に同時に起こる組み合わせを見ている。
ry これを空間的パターンと呼 ry パターンが時間と共にどのような順で現れるか ry
これを時間的パターンないしシーケンスと呼んでいる。
ry 入力が建物の ry センサであるなら、リージョンは建物の北側や南側において、
ある温度と湿度の組み合わせがしばしば起こることを見つけるだろう。
省12
568(1): 567 2016/11/23(水)12:52 ID:IM1cuRG2(2/2) AAS
生物的システムと同様に、HTM リージョン ry オンライン学習 ry
新しい入力を受け取るごとに継続的に学習する。
学習 ry 推論が改善されるが、学習フェーズと推論フェーズとを分ける必要はない。 ry
ry HTM は学習し続けることもできるし、訓練フェーズの後に学習を無効化することも ry
、階層構造の下位レベルでは学習を無効化し、上位レベルでは学習を続けることもできる。
HTM が ry の統計的構造を学習したら、多くの学習は階層構造のより上位 ry
。もし HTM が下位レベル ry 新しいパターンに触れたら、これらの新しいパター
569: yamaguti~貸 [sagezon.jp/dp/4331519902/okyuryo-22] 2016/11/25(金)00:26 ID:NrX1gg1r(1) AAS
>>2chｽﾚ:future
>772 : yamaguti~kasi 2016/11/24(木) 22:14:53.06 ID:gvzci1Hb
> 難易度
> 精神転送 > ネット生命体化
>
> >342 : YAMAGUTIseisei 2016/09/22(木) 15:11:35.05 ID:PmVnGSgy
>>> 内容紹介 ry 日本には大逆転の隠し球 ry 1~3位を独占 ry 齊藤元章氏が手がけるNSPU
>> 外部ﾘﾝｸ:google.jp
>
>>>NSPU → 人格融合 射程寸前 外部ﾘﾝｸ:ja.catalyst.red >>65
省6
570(4): 567 2016/11/27(日)07:35 ID:vHhUl6EA(1/2) AAS
Page 20
ンを学習するのにより長時間必要 ry 。既に知っている言語の新しい単語を学習するのは
比較的容易 ry 慣れない発音の外国語の ry 、まだ下位レベルの発音を知ら ry
単にパターンを見つけることは、価値の高い可能性を秘めている。
マーケットの変動、病状の変化、天候、工場の生産、送電系統のような複雑なシステムの
障害などの、高レベルなパターンを理解することはそれ自体に価値がある。
それでも空間的・時間的パターンを学習することは推論と予測に先立って必要となる。
推論
HTM が周囲の世界のパターンを学習すると、新しい入力について推論ができ ry
、以前に学習した空間的ないし時間的パターンと照合 ry
省12
571(1): 570 2016/11/27(日)07:36 ID:vHhUl6EA(2/2) AAS
HTM リージョンも脳と同じ問題に直面する：入力は決して正確に繰り返されない。
さらに、ちょうど脳と同じように、 ry 推論や訓練の最中にも新しい入力 ry
対処する一つの方法は、疎分散表現 ry 。疎分散表現の鍵となる特徴は、パターンの一部
17 cochleae。かぎゅうかく。耳の奥にある渦巻き状の感覚器官。
572(2): yamaguti~貸 2016/11/28(月)23:25 ID:ljM7ATY9(1) AAS
>268 : オーバーテクナナシー 2016/09/20(火) 10:29:28.04 ID:lWJpK4O6
> >> ry 。量子テレポーテーションでは、「いつ転送されたか」が受信側には分からないため、
> 別経路の従来の（光などの）通信が必要 ry
> 外部ﾘﾝｸ:ja.m.wikipedia.org量子テレポーテーション
>
> 319 : オーバーテクナナシー 2016/09/21(水) 15:50:42.70 ID:W1zU7Hj5
> >>268
> 事前にいつ送信するかを決 ry
>
>>2chｽﾚ:future
省3
573(1): 572 2016/11/29(火)22:14 ID:jEWJCDe1(1) AAS
クロック等用チャネル
574(1): yamaguti~貸 2016/12/01(木)23:41 ID:7xq7MG9h(1) AAS
> 707 : オーバーテクナナシー 2016/11/23(水) 23:53:27.58 ID:uc5KgrCv
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> 外部ﾘﾝｸ:jp.techcrunch.com
> 708 : オーバーテクナナシー 2016/11/24(木) 00:03:18.73 ID:FV9AmA+z
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> 外部ﾘﾝｸ:jp.techcrunch.com
>
> javaでいう中間言語的なモノ？
>710 : yamaguti~kasi 2016/11/24(木) 00:24:02.77 ID:gvzci1Hb
>>707
省12
575(2): yamaguti~貸 2016/12/02(金)18:43 ID:HgThED5J(1/2) AAS
>> 2chｽﾚ:future
>>539-
第14回全脳アーキテクチャ勉強会 「深層学習を越える新皮質計算モデル」報告レポート
３．大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal Memory (HTM)理論 (NPO法人 あいんしゅたいん 松田卓也氏)
外部ﾘﾝｸ:wba-initiative.org
> コネクトームと新皮質内の情報の流れ
> ry 大きく分けて領野間 ry マクロ・コネクトームと、 ry ニューロン間のシナプス結合を表すミク ry
> 新皮質は6層 ry 、階層内(横方向)はミクロ・コネクトームによる密結合であり、主に時間系列 ry
> 。階層間(縦方向)はマクロ・ ry 疎結合であり、主に静的パターンを処理する。
> 最下層では知覚の入力および筋肉への出力が行われ、最上層は意識あるいは論理的思考を司る。
省13
576(1): 575 2016/12/02(金)18:45 ID:HgThED5J(2/2) AAS
> HTM理論の解説
>
> ry 発展に伴い実装 ry 。Numentaの資料により初代のゼータ1 から CLA, Gen3, そして将来の Gen4 ry
> 。以下では ゼータ1, CLA, Gen3 ry
> ゼータ1 ry 、教師なし学習、木構造の階層構造、上の階層ほど空間的・時間的に不変性 ry
> 、バッチ学習、学習と推論フェーズの分離 ry
> 。学習は階層ごとに行われ、階層を上がるに従い空間プーリングと時間プーリングによ ry 不変性 ry
> 。下層から上層へのFFだけでなく、上層から下層へのFBも実装されている。
> Vicarious ではゼータ1を発展させた Recursive Cortical Network 理論が実装 ry CAPTCHA を破る ry
>
省15
上下前次1-新書関写板覧索設栞歴
あと 264 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.019s