(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
543: 542 2016/11/11(金)13:22 ID:TfAJHR6G(5/14) AAS
第２章： HTM 大脳皮質性学習アルゴリズム . . . . 24
:
セル状態
樹状突起セグメント . . . . . . . . 25
シナプス
概要 . . . . . . . . . . . 26
共通概念 . . . . . . . . . . 32
二値ウェイト
永続値 . . . . . . . . . . 33
樹状突起セグメント
省2
544(2): 542 2016/11/11(金)13:24 ID:TfAJHR6G(6/14) AAS
Page 6
空間プーリングの概念 . . . . . . . . 34
:
時間プーリングの概念 . . . . . . . . 36
:
一次と可変長のシーケンスと予測 . . . . . . 39
第３章： 空間プーリングの実装と疑似コード . . . . 43
初期化
フェーズ 1: オーバラップ . . . . . . . 44
フェーズ 2: 抑制
省8
545: 544 2016/11/11(金)13:26 ID:TfAJHR6G(7/14) AAS
付録 A: 生体ニューロンと HTM セルの比較 . . . . 57
生体ニューロン
細胞体 . . . . . . . . . . 58
主要樹状突起
末梢樹状突起
シナプス . . . . . . . . . . 59
ニューロンの出力 . . . . . . . . 60
単純な人工ニューロン
HTM セル . . . . . . . . . . 61
主要樹状突起
省6
546(1): 544 2016/11/11(金)13:27 ID:TfAJHR6G(8/14) AAS
Page 7
層 . . . . . . . . . . . 66
リージョンの違いによる層のバリエーション . . . . 67
カラム . . . . . . . . . . 68
ミニカラム . . . . . . . . . 69
カラム反応の例外 . . . . . . . . 70
なぜ層とカラムがあるのか？ . . . . . . . 71
異なる層が何をするのかに関する仮説 . . . . . 72
HTM リージョンは新皮質の何に相当するか？ . . . . 75
:
547(2): 546 2016/11/11(金)13:28 ID:TfAJHR6G(9/14) AAS
Page 8
序文
人間には簡単にできて、コンピュータには今のところできないようなことがたくさ ry
Hierarchical Temporal Memory (HTM) は、新皮質がこの様な機能を発揮する様子を
モデル化する技術である。 HTM は人間と同等あるいはそれ以上の多くの認識性能 ry
ry １章は HTM ry 階層構造 ry 、疎分散表現1、時間的な変化に基づく学習 ry
２章は HTM 大脳皮質性学習アルゴリズム2 ry
３章と第 4 章は HTM 学習アルゴリズムの疑似コードを、
空間プーリング及び時間プーリングの２つのパート ry
第２章から第４章を読めば、熟練したソフトウェア技術 ry 実装して実験 ry
省6
548(1): 547 2016/11/11(金)13:29 ID:TfAJHR6G(10/14) AAS
Page 9
ソフトウェアのリリース
ry ソフトウェアリリースは 2011 年中頃を予定している。
以前の文書との関係
HTM 理論の一部は 2004 年の On Intelligence3、Numenta 社から発行された
ホワイトペーパー、Numenta の従業員が執筆した論文など ry
２章から第４章で述べている HTM 学習アルゴリズムは、これまで発表されたことはない。
この新しいアルゴリズムは、Zeta 1 と呼ばれていた我々の第一世代アルゴリズムを置き換 ry
新しいアルゴリズムのことを “Fixed-density Distributed Representations” ないし “FDR”
と呼んでいた ry
省14
549(2): 548 2016/11/11(金)13:31 ID:TfAJHR6G(11/14) AAS
Page 10
してよい。我々は商業目的での技術サポートの提供、ソフトウェアライセンス販売、
知的所有権のライセンス販売で収益を得ている。
我々は常に開発パートナーを求めており、彼らと我々自身の成功 ry
Numenta 社はカリフォルニア州 Redwood City に拠点をおき、自己資本 ry
著者 ry
本書は Numenta 社の従業員の協力と努力 ry 名前は改訂記録 ry
550: 549 2016/11/11(金)13:32 ID:TfAJHR6G(12/14) AAS
改訂記録
各版の主な変更点 ry 。細かな修正や整形などは ry
版 日付 変更点 主な著者
0.1 2010/11/9
1. 序文、1,2,3,4 章、用語集の初版
Jeff Hawkins, Subutai Ahmad, Donna Dubinsky
0.1.1 2010/11/23
1. 第 1 章のリージョンの節で、レベル、カラム、層などの用語を明確化するため編集した
2. 付録Ａの初版
Jeff Hawkins
省5
551(1): 549 2016/11/11(金)13:33 ID:TfAJHR6G(13/14) AAS
Page 11
第１章： HTM 概説
Hierarchical Temporal Memory (HTM) は、新皮質の構造的・アルゴリズム的性質
を捉えることを目指した機械学習技術である。
ry 。新皮質は実に均一なパターンのニューラル回路 ry
ry 小さなサブセットを実装 ry 今後より一層多くの理論が実装されるだろう。
現在我々は、新皮質の商業的ないし科学的価値のうちの十分なサブセットを実装したと信じる。
省16
552(3): yamaguti~貸 2016/11/11(金)13:35 ID:TfAJHR6G(14/14) AAS
>>528-529
2chｽﾚ:future
意味 + 文法
2chｽﾚ:future
2chｽﾚ:future
>102 : YAMAGUTIseisei 2016/09/17(土) 18:39:19.08 ID:3E1tr0Z7
> 文法 = 一種の身体性 → 究極 ( シームレス粒度 ) = 有機分散並列自律発生文法システム
553(1): yamaguti~貸 2016/11/12(土)20:31 ID:VjIvu7PJ(1/2) AAS
松田先生ご資料 Page 8
外部ﾘﾝｸ[pdf]:webcache.googleusercontent.com
PEZY Computing/ExaScaler/Ultra Memory3社連合+WBAI+Project N.I. 汎用人工知能開発・特異点創出ロードマップ
旧版 外部ﾘﾝｸ[html]:news.mynavi.jp
次世代スパコン PEZY Computing/ExaScaler/UltraMemory
2017年中? → 更新 2017年6月
100 PetaFLOPSスパコン（プレ・エクサスケール）
・世界初の100 PetaFLOPS
・超メニーコア「PEZY-SC2」
・磁界結合積層DRAM「UM1」
省9
554(2): 553 2016/11/12(土)20:32 ID:VjIvu7PJ(2/2) AAS
人工知能エンジン Deep Insights
2018年
「仮説立案までを行える新人工知能エンジン」
・世界最高演算性能
・世界最高消費電力性能
・世界最高メモリ帯域
・現在の1,000倍超の性能
・Edge側、Server側双方
・自動運転等にも適応化
「新」産業革命での当面の競争力確保 2020年頃
省13
555(6): 551 2016/11/13(日)11:13 ID:5tF5+oR3(1) AAS
Page 12
ry 。HTM のメモリは階層的な構造であり、時刻の概念が内在している。
情報は常に分散型の様式で保存される。HTM の利用者は階層のサイズを指定し、
何に対してそのシステムを訓練するのかを決める。 ry
HTM ネットワークは ry 、階層構造、時間と疎分散表現（ ry ）の主要機能を包含する限り、
我々は汎用的なコンピュータを使ってモデル化することができる。
我々はいずれ、HTM ネットワークに特化したハートウェアを作ることになる ry
本書では我々は HTM の特徴と原理を、人の視覚・触覚・聴覚・言語・行動を例にして表す。
ry 。しかしながら、HTM の能力は汎用的であることを心に留め ry
。HTM は学習と予測の機械であり、様々な種類の問題に適用可能である。
省13
556(1): 555 2016/11/15(火)01:13 ID:miLjs+zj(1/4) AAS
Page 13
図 １-１ ４階層の階層構造に配置された４つの HTMリージョンを単純化して表した図。
情報は階層間及び階層内部で通信 ry
複数の HTM ネットワークを結合することもできる。 ry 。
例えば、一つのネットワークが音声情報を処理し、他 ry が映像情報を処理する場合 ry
。各個別のネットワークがトップに向かうにつれて集約 ry
図 １-２ 異なるセンサから集約するネットワーク
557(3): 556 2016/11/15(火)17:25 ID:miLjs+zj(2/4) AAS
Page 14
階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry
学習時間とメモリ消費を非常に節約する。
説明のため、視覚 ry 。階層構造の最下位レベルでは、
脳は縁13や角などの視覚のごく一部分に関する情報を格納する。
縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry
曲線や模様などのより複雑な構成要素に集約される。
円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry
。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの
高レベルな物体の特徴を表す。
省6
558(1): 557 2016/11/15(火)17:26 ID:miLjs+zj(3/4) AAS
一つの HTM 階層構造はいくつの事柄を学習 ry ？
言い換えれば、階層構造にはいくつのレベルが必要 ry ？
各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry
HTM は入力の統計及び割り当てられたリソースの量とから、
各レベルの最適な表現を自動的に学習 ry
多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、
従って必要となる階層構造のレベルはより少 ry
少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry
ここからは、視覚の推論14のような難しい問題について述べる
（推論はパターン認識と似 ry ）。しかし多くの価値ある問題は視覚より単純で、
省7
559: yamaguti~貸 2016/11/15(火)20:11 ID:miLjs+zj(4/4) AAS
>> 2chｽﾚ:future
レンダリングなし ( 合成の単なる発展系 ? )
外部ﾘﾝｸ:google.jp
560: yamaguti~貸 [sagezon.jp/dp/4794221657/okyuryo-22%23ConeNouHaisen] 2016/11/16(水)23:15 ID:om/S71rA(1) AAS
2chｽﾚ:future
> 795 ：オーバーテクナナシー：2016/11/16(水) 11:52:11.84 ID:BYy/Er5p
> 【 考察メモ 】深層学習モデル設計者 が、人間 脳の神経回路（コネクトーム）
> 形成・変容メカニズム から 学ぶべきこと、学ぶべきでないこと
> 外部ﾘﾝｸ:qiita.com
2chｽﾚ:future
> 844 : yamaguti~kasi 2016/11/16(水) 21:47:25.64 ID:om/S71rA
> >>795
>> あらゆる方向に（直交格子座標でなく）ニューロンを並べ ry すべての組み合わ ry
>> 「結合あり（非零の結合荷重）・結合なし（零の結合荷重）を定義」
省9
561(3): 557 2016/11/17(木)21:05 ID:G0S5ouMa(1) AAS
Page 15
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry
しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン
階層構造に連結されたリージョン15の表現は、生物学から ry
新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry
基づいて、新皮質を異なる領域ないしリージョンに区分けする。
あるリージョンはセンサから直接入力 ry
、他のリージョンは他のいくつかのリージョンを経由 ry
。階層構造を決 ry ージョ ry ョンへの接続関係 ry
省11
562(4): 561 2016/11/18(金)23:35 ID:fnVQMg28(1) AAS
Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。
この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、
複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現
新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン
だけが一度にアクティブになるように抑制ニューロンによって保護されている。
よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ
のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry
省16
上下前次1-新書関写板覧索設栞歴
あと 278 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.017s