(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
563(3): 562 2016/11/19(土)21:31 ID:gXSL1qpI(1) AAS
Page 17
図 １-４ HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割
時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。
ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry
。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、
ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry
手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。
省6
564(4): 563 2016/11/20(日)22:51 ID:gBNtPa9o(1) AAS
Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry
。視覚では静的な画像の推論がときには可能なものの、
物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry
網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。
脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。
時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても
混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry
省15
565: yamaguti~貸 [本スレsage] 2016/11/21(月)23:55 ID:6/tm5rB/(1) AAS
>>554
AI エンジン ハードウェア
外部ﾘﾝｸ[html]:news.mynavi.jp
> 高効率の人工知能ハードウェアを開発するDeep Insightsを創立 ry
> 開発するハードウェアはノイマン型 ry Deep Learningなど ry 大幅に高速化 ry
> 7nmプロセスを使って速度と集積密度の双方を上げることで10倍、
> 磁界結合による ry を多チャンネル化(メモリ帯域100TB/s)してダイ上に ry 10倍、
> ダイナミックな計算精度変更を可能にして、低精度演算 ry 10倍 ry 全体では1,000倍
566: yamaguti~貸 2016/11/22(火)23:37 ID:fDw5z9zc(1) AAS
> ダイナミックな計算精度変更
一例 URR ( 浜田穂積先生 )
567(5): 564 2016/11/23(水)12:51 ID:IM1cuRG2(1/2) AAS
Page 19
じている。よって行動は現在の HTM の実装に含まれていない。 ry
学習
HTM リージョンは ry パターンとパターンのシーケンスを見つけることで、
その世界を学習する。 ry 入力が何を表しているのかを「知って」はいない。
ry 統計的 ry 入力ビット ry 頻繁に同時に起こる組み合わせを見ている。
ry これを空間的パターンと呼 ry パターンが時間と共にどのような順で現れるか ry
これを時間的パターンないしシーケンスと呼んでいる。
ry 入力が建物の ry センサであるなら、リージョンは建物の北側や南側において、
ある温度と湿度の組み合わせがしばしば起こることを見つけるだろう。
省12
568(1): 567 2016/11/23(水)12:52 ID:IM1cuRG2(2/2) AAS
生物的システムと同様に、HTM リージョン ry オンライン学習 ry
新しい入力を受け取るごとに継続的に学習する。
学習 ry 推論が改善されるが、学習フェーズと推論フェーズとを分ける必要はない。 ry
ry HTM は学習し続けることもできるし、訓練フェーズの後に学習を無効化することも ry
、階層構造の下位レベルでは学習を無効化し、上位レベルでは学習を続けることもできる。
HTM が ry の統計的構造を学習したら、多くの学習は階層構造のより上位 ry
。もし HTM が下位レベル ry 新しいパターンに触れたら、これらの新しいパター
569: yamaguti~貸 [sagezon.jp/dp/4331519902/okyuryo-22] 2016/11/25(金)00:26 ID:NrX1gg1r(1) AAS
>>2chｽﾚ:future
>772 : yamaguti~kasi 2016/11/24(木) 22:14:53.06 ID:gvzci1Hb
> 難易度
> 精神転送 > ネット生命体化
>
> >342 : YAMAGUTIseisei 2016/09/22(木) 15:11:35.05 ID:PmVnGSgy
>>> 内容紹介 ry 日本には大逆転の隠し球 ry 1~3位を独占 ry 齊藤元章氏が手がけるNSPU
>> 外部ﾘﾝｸ:google.jp
>
>>>NSPU → 人格融合 射程寸前 外部ﾘﾝｸ:ja.catalyst.red >>65
省6
570(4): 567 2016/11/27(日)07:35 ID:vHhUl6EA(1/2) AAS
Page 20
ンを学習するのにより長時間必要 ry 。既に知っている言語の新しい単語を学習するのは
比較的容易 ry 慣れない発音の外国語の ry 、まだ下位レベルの発音を知ら ry
単にパターンを見つけることは、価値の高い可能性を秘めている。
マーケットの変動、病状の変化、天候、工場の生産、送電系統のような複雑なシステムの
障害などの、高レベルなパターンを理解することはそれ自体に価値がある。
それでも空間的・時間的パターンを学習することは推論と予測に先立って必要となる。
推論
HTM が周囲の世界のパターンを学習すると、新しい入力について推論ができ ry
、以前に学習した空間的ないし時間的パターンと照合 ry
省12
571(1): 570 2016/11/27(日)07:36 ID:vHhUl6EA(2/2) AAS
HTM リージョンも脳と同じ問題に直面する：入力は決して正確に繰り返されない。
さらに、ちょうど脳と同じように、 ry 推論や訓練の最中にも新しい入力 ry
対処する一つの方法は、疎分散表現 ry 。疎分散表現の鍵となる特徴は、パターンの一部
17 cochleae。かぎゅうかく。耳の奥にある渦巻き状の感覚器官。
572(2): yamaguti~貸 2016/11/28(月)23:25 ID:ljM7ATY9(1) AAS
>268 : オーバーテクナナシー 2016/09/20(火) 10:29:28.04 ID:lWJpK4O6
> >> ry 。量子テレポーテーションでは、「いつ転送されたか」が受信側には分からないため、
> 別経路の従来の（光などの）通信が必要 ry
> 外部ﾘﾝｸ:ja.m.wikipedia.org量子テレポーテーション
>
> 319 : オーバーテクナナシー 2016/09/21(水) 15:50:42.70 ID:W1zU7Hj5
> >>268
> 事前にいつ送信するかを決 ry
>
>>2chｽﾚ:future
省3
573(1): 572 2016/11/29(火)22:14 ID:jEWJCDe1(1) AAS
クロック等用チャネル
574(1): yamaguti~貸 2016/12/01(木)23:41 ID:7xq7MG9h(1) AAS
> 707 : オーバーテクナナシー 2016/11/23(水) 23:53:27.58 ID:uc5KgrCv
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> 外部ﾘﾝｸ:jp.techcrunch.com
> 708 : オーバーテクナナシー 2016/11/24(木) 00:03:18.73 ID:FV9AmA+z
> GoogleのAI翻訳ツールは独自の内部的言語を発明したようだ、そうとしか言えない不思議な現象が
> 外部ﾘﾝｸ:jp.techcrunch.com
>
> javaでいう中間言語的なモノ？
>710 : yamaguti~kasi 2016/11/24(木) 00:24:02.77 ID:gvzci1Hb
>>707
省12
575(2): yamaguti~貸 2016/12/02(金)18:43 ID:HgThED5J(1/2) AAS
>> 2chｽﾚ:future
>>539-
第14回全脳アーキテクチャ勉強会 「深層学習を越える新皮質計算モデル」報告レポート
３．大脳新皮質のマスターアルゴリズムの候補としてのHierarchical Temporal Memory (HTM)理論 (NPO法人 あいんしゅたいん 松田卓也氏)
外部ﾘﾝｸ:wba-initiative.org
> コネクトームと新皮質内の情報の流れ
> ry 大きく分けて領野間 ry マクロ・コネクトームと、 ry ニューロン間のシナプス結合を表すミク ry
> 新皮質は6層 ry 、階層内(横方向)はミクロ・コネクトームによる密結合であり、主に時間系列 ry
> 。階層間(縦方向)はマクロ・ ry 疎結合であり、主に静的パターンを処理する。
> 最下層では知覚の入力および筋肉への出力が行われ、最上層は意識あるいは論理的思考を司る。
省13
576(1): 575 2016/12/02(金)18:45 ID:HgThED5J(2/2) AAS
> HTM理論の解説
>
> ry 発展に伴い実装 ry 。Numentaの資料により初代のゼータ1 から CLA, Gen3, そして将来の Gen4 ry
> 。以下では ゼータ1, CLA, Gen3 ry
> ゼータ1 ry 、教師なし学習、木構造の階層構造、上の階層ほど空間的・時間的に不変性 ry
> 、バッチ学習、学習と推論フェーズの分離 ry
> 。学習は階層ごとに行われ、階層を上がるに従い空間プーリングと時間プーリングによ ry 不変性 ry
> 。下層から上層へのFFだけでなく、上層から下層へのFBも実装されている。
> Vicarious ではゼータ1を発展させた Recursive Cortical Network 理論が実装 ry CAPTCHA を破る ry
>
省15
577(1): 575 2016/12/03(土)12:21 ID:97cte86A(1) AAS
>>575-576
外部ﾘﾝｸ[pdf]:webcache.googleusercontent.com
578(6): 570 2016/12/04(日)17:39 ID:VL9xSNhJ(1/2) AAS
Page 21
分だけをマッチングするだけでほぼ確実にマッチ ry
予測
HTM の各リージョンはパターンのシーケンスを格納する。 ry
現在の入力とマッチングすることで、次に到着すると思われる入力の予測をする。
ry 実際には疎分散表現の間の変遷を記録する。
あるときはその変遷はメロディの中の音に見られるように線形のシーケンスであるが、
一般的な場合は将来入力される可能性があるものが同時に多数予測される。
HTM リージョンはときには長期間に及ぶ過去の文脈に基づいて異なる予測をする。ry 。
HTM の予測の鍵 ry
省7
579(3): 578 2016/12/04(日)17:40 ID:VL9xSNhJ(2/2) AAS
3) 予測は文脈依存 ry
予測は過去に何が起こったか、そして現在何が起こっているかに基づいて行われる。
従って直前の文脈に基づいて、ある入力から異なった予測が行われることがある。
HTM リージョンは必要なだけのより多くの直前の文脈を用いて学習し、
短時間ないし長時間の両方の文脈を保持 ry 可変長記憶18 ry
例えば、暗唱 ry ゲティスバーグ演説19 ry 。次の単語を予
18 variable order memory
19 Gettysburg Address。「人民の人民による人民のための政治」のフレーズが有名。
”Four score and seven years ago our fathers brought forth on this continent, a new nation,
conceived in Liberty, and dedicated to the proposition that all men are created equal...” (以下略)
580: yamaguti~貸 2016/12/05(月)18:56 ID:s5+vq0Ta(1/2) AAS
第五世代コンピュータ計画 = 大成功
↓↑
Prolog ソリューション = 言わばワトоン型
2chｽﾚ:future Dai5sedai
2chｽﾚ:future SuityokuTougou
外部ﾘﾝｸ:google.jp
Report By 関 亜希子（ライター）
外部ﾘﾝｸ[html]:blog.livedoor.jp
> 日本発の新しいコンセプトに基づいた第５世代コンピュータ ry 僕も初期段階では参加 ry
> 。第５世代コンピュータは高性能な並列処理のロジックマシンで、
省1
581(2): YAMAGUTIseisei~貸し 2016/12/05(月)20:47 ID:s5+vq0Ta(2/2) AAS
>>2chｽﾚ:future
> 59 : yamaguti~kasi 2016/12/05(月) 20:14:39.07 ID:s5+vq0Ta
> 専門分野違いながら
>
> 強い AI 理論 : HTM ( 予測 テンポラル系時間管理 )
> ｜
> ｜ 入力応用 ? ( 一層切出し 多層化 ? )
> ↓
> 弱い AI 実装 : DeepLearning ( 外部タスク 内部ビュー 等 → 自己改良用分割余地 )
> ｜
省8
582(7): yamaguti~貸 2016/12/07(水)01:03 ID:i949cOw9(1) AAS
>207 : yamaguti~kasi 2016/12/07(水) 00:40:01.72 ID:i949cOw9
> >>航空機 戦艦
> >899 : YAMAGUTIseisei 2016/11/04(金) 21:09:51.02 ID:O8dhrfC/
>> 32 bit 版 ARM の肝はそこではない
> >>航空機へのゲームチェンジに耐える非戦艦型スパコン設計
>
> >740 : yamaguti~kasi 2016/12/03(土) 22:40:41.28 ID:97cte86A
>> >>600
>>> 将来には脳の全てをエミュレーションできるAIの開発も研究
> >最初からоみ ( 現状版 64bitARM 不о合 )
省10
上下前次1-新書関写板覧索設栞歴
あと 258 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.021s