リザバーコンピューティングで、時系列データを解く  その2

時系列データは、リザバーコンピューティング(RC)で解く その2です。

RCリザバープールノードの重み値は固定・修正しない??の意味が掴めないので、感覚として捕まえるために、少し手を動かして、遊んでみることにした。githubで、reservoir-computingを確認すると、20数件のサンプルが見つかる。その中から、EchoTorch と、simple echo state network を動かした。

時系列予測のベンチマークとしてNARMA10の4000データで学習して、1000データを予測。自分PC(iCore7)でも、数秒で結果が得られる。

すぐにモデルにフィットし、予測値にずれがあるようには見えない。その時の、アクティビティの出力結果は、毎回実行するたびにノードの出力は変わるものの、予測誤差がない。これは、なかなかの印象です。

そしてリザーブプールノードの重み値が変えない恩恵だが、学習時間が短い。このケースでも、IoTセンシングのサンプリングレート100Hz (100msec)なら、4000ポイントであれば、40秒+αで学習できそうな印象。何やら、たくさんのGPUユニットに深いノードで、収束させるのに比べると、このライトな感じは一体・・・・

時系列データパターンの何を教師データとして見抜かせるのか、パターン周期のどこをポイントにするかは、こちらの利用しやすい場所をいかに指示するかにより、その実装センスを持ち合わせる技術者が必要になる。

いま私は、睡眠の解析をしていて、ノイズありの時系列データからあるパターンの特徴抽出したい。そして、この技術を適用できるかもしれない。

もちろん、非線形ダイナミクスを表現する内部ノード構成、時系列パターンにマッチさせるノード構成は、今後の研究を待つことになろうが、現時点でも実用的なサービスに落とし込めそうな感じのする技術であるリザバーコンピューティングは、IoTセンサーや時系列データに応用できそうである。

時系列データは、リザバーコンピューティングで解く。

センサーシートの呼吸数・心拍数を時系列データを扱うには、時系列データを扱う仕組みがどうしても必要です。大学にいた頃から時系列データ処理の扱いにはずーと悩みを抱いてきた。時系列データ処理は、非常に根の深い問題を本質的に抱えている。

時系列データをラベル化するなどの応用には、リザーブコンピューティングが使えるかもしれない。

2019年2月小特集:
”リザバーコンピューティングの概念と最近の傾向 田中剛平”の紹介にあるように、階層型NNではない、再帰的NN(内部ノードの重みは固定が特徴、だから学習時間も抑制される)を使い、出力部だけに学習をさせる新しい学習方式である。

入力データを、リザーブしてあるノード上が有する非線形特性により、高次元の特徴空間に写像し、線形分離の可能性を高める。リザバー・ノードの重みは、最初から固定であり、逆誤差伝搬法のように修正の必要がない。しかも、リザーブノードの性質は、非線形の物理ダイナミクスを有することが分かってきたこともあり、そういう特性を持つデバイスがあれば計算に応用もできることから、光デバイスへの応用(格段の性能報告有)も進められている。

これは、ブレークスルーである。

2009年8月論文:(最初の提案論文は2004年らしい)
“Reservoir computing approaches to recurrent neural network training” MantasLukoševičius Herbert Jaeger

この方式の性能は、入力表現の構造、ノード数の構造とサイズ、学習アルゴ、そして出力表現(ラベル化)に依存して決まる。技術者には、対象とする問題・課題にマッチする能力が必要そうだ。

一番の利点は、少ない学習データで、学習できることに見える。これまでの深層学習は、大量に学習データを用意しなければならないのと、その訓練にも時間と計算パワーがかかってしまい、負担費用を事前に予測できない。

リザバーコンピューティングは、少ないサンプルデータが得られれば、高速に学習ができる。そして、リアルタイムデータを入力すれば、小型デバイスでも十分計算できることから、エッジ処理に向いていると思われる。深層学習同様に、専用チップが動作してくるだろう。

今後、実時間・空間から様々なIoTデータがクラウドにあがるが、これらのデータリソースもリザバーコンピューティングエンジンに処理させて、性能異常・状態のラベル化なども進んでいくと思われる。

本日ceatec2019でQuantum Core 社からお話を伺うことができ、久しぶりに、社会への実用応用性の高い技術に出会えた。

矢野和男さんの『データの見えざる手』(第5章)

今日も、ただ、ひたすら暑い。体温より暑い外気温、どう理解したらいいのだろうか。
これは外に出るなということだろうか。

本日も、矢野和男さんの著書、データの見えざる手を読み進めております。

人間の活動に温度差があるとはいえ、一日でできる小さな活動から大きな活動まである範囲に収まるという発見は、
驚かされた。U統計、U分布に、人の活動は規定されているのだ。自分の分布を知り、それをよりよくすることは、
是非ともやってみたいことであろう。加速度センサーからの人の行動、組織内部の行動構造について説明がなされたが、
第5章では、『データから見える社会を科学する』という視点からのお話をご説明いただいている。

いきなり社会構造といっても分からなくなってしまうので、まずは一人ひとりの人間の周りにある「場」とその周辺にある
人との相互作用の結果が、行動として表れるとしている。環境とのやりとり、相互作用から、行動が生まれるのだから、
環境内部に、様々な確度からの測定することができるならば、社会のある構造について語れるはずであるというアプローチを
取っておられる。人を加速度センサーという視点で詳しく見てきた方なので、場と相互作用も何かしらの方法で見える化できれば
と考えるのは、得心いたします。

様々なセンサーを取り付けた店舗内情報と、人の活動情報を照らして、売り上げを最大にするための要因を明らかにした
説明がなされています。跳躍学習を取り入れたAIシステムソフトウエアの凄さを解説いただいている。
何がすごいかって、一言でいうと、仮説生成を自動で行えるシステムに仕上がっている点にある。

計算機システムは、だいたい、よくわかっている専門家が、その知識のうえに、システムをくみ上げる。
これが何がダメかといえば、その専門家の恣意が、知らず知らずに入ってしまう点にある。
問題をシンプルに置き換えて、簡単かしてしまうような発想では、社会構造のような複雑な事象を扱うことができない可能性が
あり(気づかないだけで、シンプルな構造表現できる場合もあるし、それを見つけることがこれまでの科学手法でもあった)、
複雑な事象とは、どの方向からどうやって分けるのかすら、分からないほど、複雑なので、であるならば、帰納的な部分については
複雑なまま計算機に扱わせてしまおうという立場で説明される、これなんぞは、目から鱗である。

矢野さんらのAIシステムが画期的であるのは、データから仮説を自動生成、その仮説数も数百万の仮説を作りだして、
ある特定のパフォーマンスを高める因子を見つけ出せるようである。モデルはこうだと思い込んで、プログラム開発をするのではなくて、
データからすると、どうもモデルはこうなっているようだと、モデルの逆生成を行っているという、なんともすごいことである。

システム屋からすると、いままでの反対の行動でどんどん進んでおられるので、たいへん興味がわく次第である。
これができるなら、これからの必要となるといわれるデータアナリストも、いらなくなるのではないか。
アナリストがデータ分析を繰り返して、1つの道筋を見つけている間に、跳躍学習Hは、膨大な仮説から、
非常に多くな有用なストーリを示して頂ける可能性がある。もちろん、業界の専門家ですら、気付けない点についても、
きっとHシステムから、ご提案をいただけるのであろう。ほんとに、カッコいい。

今後私たちがなすべきことが分かった気になった(気づかせて頂けたというべきか)。
前提として、何を目標・目的に据えるかである。この目標・目的は、人間でしかできないことであり、意思を表すということだ。
そしてのその目標・目的を表現するために、どういうミクロなデータを集めるかを決めなければならない。
いついかなる時も、均質なデータを延々と取り続けること。取ったり取れなかったりするデータでもなくて、
24時間365日のデータ(時間軸上はできる限り短い時間、データ量はその分増えるが)を手にすることである。
この膨大なデータ量を手にした後、そのデータから目的や目標に到達するストーリを、計算機に導かせる。
人が作りだす仮説なんてものは、個人の恣意が入り、仮説のうちに入らないという世界が、近づいてきているようにも思えた。

目標設定⇒均質なデータ取得⇒データから多くの仮説を作り、目標を達成するモデルを逆生成する。

将棋・囲碁、画像認識、自動運転、こうした考えがベースになって、それぞれのアプローチを進めているように思います。
わたしも、こうした動きに少しずつでも理解を深め、前に進めるアプローチできたらと思います。

矢野さん本、いよいよ残りは6章だけになりました。矢野さんの見ている世界観を少しでも近づくことができたらと思っています。
勉強になります。

矢野和男さんの『データの見えざる手』(第4章)

こんにちは、日曜日の午後です。
JONGDARI(ジョンダリ)は、過去見たこともない軌道を描き、地球の自転に反しての
右から左へ突き進みました。不思議なことが起きるものですね。
そして、今朝は、また暑い日曜日となっています。
どうも、水野裕識(みずのひろのり)です。

矢野さんの本と向き合おうと決めて、後半戦、4章になりました。
この章のテーマは、”運とまじめに向き合う”です。

運とは、ビジネス上の定義すると、「確率的に自分が必要とする知識や情報を持っている人に出会うこと」
運は、多くの場合、人との出会いより得られることのようだが、運に出会うことを理論・モデル化について、
4章では説明がなされる。人を介しての到達度とは、自分からみた人を介しての2ステップの到達数とし、
仕事がうまくひとというのは、概して到達度が高いとのこと。複雑に見える事象も、到達度をつかって、
そのヒントや答えの道筋に到達しながら、解決をしている可能性が高いようである。
人と人の関係性グラフ(ソーシャルグラフ)をえがくと、到達度の高い人のまわりに、多くの人が囲むようになるそうだ。
面白いことに、取り囲む状態は、必ずしも職位が高いからそうなるものでもないようだ。

なかなか希望を抱かせる結果である。コミュニケーションをしっかりとる、人のことを思いやる、
人望が厚いとか、結果を出せるとかいうすべての要素が絡み合い、このソーシャルグラフに反映されるのだろう。
組織のリーダが一人頑張らなくても、リーダーへの到達度を上げる方法もあるようだ。
そんなのはリーダが直接つながる人が増えればいいだけと、思ってしまったが、そこは違うとある。

ではなにかというと、メンバー間に三角形のつながりを作り出すのだそうだ。
3角錐の辺同士が連結していくのだと思った。強固な分子構造の話のようにも思える。
つまり部下同士が繋がることのようである。
これを意識してみると、三角形がない関係を、あえて作りだすようにしていくことで、リーダの力は自然と
あがってくる。面白いことを見つけるものですね。
この章では、事業統合の事例(違う会社の組織を統合して新事業体として進める話)が説明がなされ、
矢野さんの名札カードを活用し、データを分析することで、その統合もうまく進められたという話が紹介されている。
こうした利用法は、今後、様々な会社で活用されるのだろうなと想起される。詳しくは本書をお読み頂きたい。

会議の質も図れるようだ。会話とは、身体の動きのキャッチボール。言葉として発する部分は、会話とされるうちの
1割であり、それ以外の非言語によるコミュケーションが9割を占めるという。つまり、この9割は何かとなるのだが
身体の動きにも表れるということなのだろう。

会議に臨む人の態度は3つあるらしい。
1つは、対立を超えた答えを導く「建設」、2つ目は、リーダの意見に従う「追従」、3つ目は、「懐疑」だそうだ。
このカードで測定をすると、建設・追従・懐疑のどれにいるのか会話モードを計測できるとある。建設的な場面では、
会話が双方向率が高くなり、それ以外は低くなるとある。会話の双方向率と事業収益との関係が明らかになれば、
自然と建設的な会話モード(双方向率が高まる)にはいらざるをえなくなると考えている。

この日本の至るところで、不毛な会議、権限だけ持って能力のない上司、会話もない同僚などなど、生産性を抑える行動
が発生している予想する。名札カードを現場に取り入れることで、その組織の課題が客観的なデータとして見える化され、
さらにアドバイスまで頂けるなら(たぶん、上司からではなくて、AIがそう言ってますというのがいい)、
それに従ったほうが、早いとすら思える。

単なる加速度という時系列データから、ここまで価値を引き出したものだと思う。

データ上は、数字と時間のペアが、延々と並んでいるだけであろうが、
そのデータにラベル化を行い、意味を見いだしを繰り返し、ここまででも大変な作業であったと推察するが、
コミュケーションや組織にまで適用しようと研究をされたことに、驚くとともに敬服する。
いま流行りの?IoTにおける問題は、ここが欠落していて、データを大量に集めましたのその先が、見えてないことにある。
データの適用先を見いだせるかどうか、さらにそれを従来からの問題の解決に使えるように仕立て上げられるかどうか。
センサーデータを積み上げてきた結果、これに使えそうだ、こう使えばこういう意味のあることが言えるようになるという
ことを、説明をしていかなければならない。
IoTサービスも、そろそろ見える見える話から、こうすれば使える使えるの発想に切り替わっていかなければならないと思う。
この意味でも、矢野さんの書かれたこの本は、貴重だと思いました。

矢野和男さんの『データの見えざる手』(第1章)

3連休の終わり、今日もとても暑かったですね。
朝ランをしたのですが、身体があまりに火照り、午後はプールで2km泳いできました。
水野裕識(みずのひろのり)です。

矢野さんの『データの見えざる手』を読み進めています。
この本は、じっくりと向き合うべきとわかり、1章ずつ繰り返し読んでいます。
1章のテーマは、”時間を自由に使えるか”について。

結論からいうと、時間は自由にならずのようである。個々人が使えるエネルギー量とその配分は、U統計に従うとのこと。
日立評論2013年6・7月合併号:ビッグデータの見えざる手
http://www.hitachihyoron.com/jp/pdf/2013/06_07/2013_06_07_03.pdf

速い動きを続けることや、遅い動きを続けることはないようで、それぞれの速さの動きを行える時間に制限があるらしい。
まったく違う仕事や立場の異なる人であっても、行動において共通な法則があるという事実を見出したことは、
たいへん興味深いことだと思う。

”U分布は一方向に右肩下がりなので、身体の動きが活発な行動を、静かな行動よりも長時間行うことは許されない。
U分布では、より素早い行動の時間は、より静かでゆったりとした行動よりも常に少ない時間しか許されない”

と説く。ゆっくりとした動き時間に制限があるのだから、1日ほ静かな作業(たとえばパソコンの前に座り、
開発を行う、文章を書く、ウェブを見る)の時間にも制約があるということになる。
U分布に従った行動を取るように、人は自らの行動を無意識のうちに配分しているようである。

ある帯域の活動を消費してしまうと、ひとはやるきがおきなくなったり、それ以上の同じ行動を続けることができなくなるようだ。それでも、社会的な制約(上司の命令、納期など)により、無理強いする場合も多々あろうが、その場合にはどうなるのか。ある状態行動を必要以上にし続けることを数か月あるいは半年1年と継続した場合に何が起きるだろうか。

人の行動は、普遍的なU分布に従うようなので、早い動作と遅い動作もU分布に沿うように、様々な速度の行動を上手にやりくりをして日々を過ごしているはずである。しかし、仕事という名の下、ある一定領域の動作を強いられ、似たような行動パターンが継続した場合にどうなるのだろうか。

週末くらいは休めということは、人が本来持つU分布の行動パターンに戻せることで、身体が本来の動きパターンに戻されるのではないか。自分の時間を自由に使える人ほど、長時間働いていても、ストレスを感じないという話がある。これは、長時間労働をしていても、その行動はU分布に従っているので、問題を生じさせないのではないかと思った。

一度、自分のU分布を見てみたいと思うとともに、今週の活動(例えばカレンダーとの連携)から、対応行動を提唱してくれたら、それに従ってしまうかもしれない。一人ひとりが無理のない範囲で、行動パターンの提案がなされるとしたら、それを利用してみたい気持ちになるのではないだろうか。

矢野さんの本、青本につづいて、ピンク本、どちらも奥が深くて、たいへん示唆に富むので、じっくりと読み進めてみたい。
まずは、第1章を読んだところまでの感想でした。