時系列データは、リザバーコンピューティング（RC)で解く　その２です。

RCリザバープールノードの重み値は固定・修正しない？？の意味が掴めないので、感覚として捕まえるために、少し手を動かして、遊んでみることにした。githubで、reservoir-computingを確認すると、20数件のサンプルが見つかる。その中から、EchoTorch と、simple echo state network を動かした。

時系列予測のベンチマークとしてNARMA10の4000データで学習して、1000データを予測。自分PC(iCore7)でも、数秒で結果が得られる。

すぐにモデルにフィットし、予測値にずれがあるようには見えない。その時の、アクティビティの出力結果は、毎回実行するたびにノードの出力は変わるものの、予測誤差がない。これは、なかなかの印象です。

そしてリザーブプールノードの重み値が変えない恩恵だが、学習時間が短い。このケースでも、IoTセンシングのサンプリングレート100Hz (100msec)なら、4000ポイントであれば、40秒＋αで学習できそうな印象。何やら、たくさんのGPUユニットに深いノードで、収束させるのに比べると、このライトな感じは一体・・・・

時系列データパターンの何を教師データとして見抜かせるのか、パターン周期のどこをポイントにするかは、こちらの利用しやすい場所をいかに指示するかにより、その実装センスを持ち合わせる技術者が必要になる。

いま私は、睡眠の解析をしていて、ノイズありの時系列データからあるパターンの特徴抽出したい。そして、この技術を適用できるかもしれない。

もちろん、非線形ダイナミクスを表現する内部ノード構成、時系列パターンにマッチさせるノード構成は、今後の研究を待つことになろうが、現時点でも実用的なサービスに落とし込めそうな感じのする技術であるリザバーコンピューティングは、IoTセンサーや時系列データに応用できそうである。

センサーシートの呼吸数・心拍数を時系列データを扱うには、時系列データを扱う仕組みがどうしても必要です。大学にいた頃から時系列データ処理の扱いにはずーと悩みを抱いてきた。時系列データ処理は、非常に根の深い問題を本質的に抱えている。

時系列データをラベル化するなどの応用には、リザーブコンピューティングが使えるかもしれない。

2019年2月小特集：
”リザバーコンピューティングの概念と最近の傾向　田中剛平”の紹介にあるように、階層型NNではない、再帰的NN（内部ノードの重みは固定が特徴、だから学習時間も抑制される）を使い、出力部だけに学習をさせる新しい学習方式である。

入力データを、リザーブしてあるノード上が有する非線形特性により、高次元の特徴空間に写像し、線形分離の可能性を高める。リザバー・ノードの重みは、最初から固定であり、逆誤差伝搬法のように修正の必要がない。しかも、リザーブノードの性質は、非線形の物理ダイナミクスを有することが分かってきたこともあり、そういう特性を持つデバイスがあれば計算に応用もできることから、光デバイスへの応用（格段の性能報告有）も進められている。

これは、ブレークスルーである。

2009年8月論文：(最初の提案論文は2004年らしい）
“Reservoir computing approaches to recurrent neural network training” MantasLukoševičius Herbert Jaeger

この方式の性能は、入力表現の構造、ノード数の構造とサイズ、学習アルゴ、そして出力表現（ラベル化）に依存して決まる。技術者には、対象とする問題・課題にマッチする能力が必要そうだ。

一番の利点は、少ない学習データで、学習できることに見える。これまでの深層学習は、大量に学習データを用意しなければならないのと、その訓練にも時間と計算パワーがかかってしまい、負担費用を事前に予測できない。

リザバーコンピューティングは、少ないサンプルデータが得られれば、高速に学習ができる。そして、リアルタイムデータを入力すれば、小型デバイスでも十分計算できることから、エッジ処理に向いていると思われる。深層学習同様に、専用チップが動作してくるだろう。

今後、実時間・空間から様々なIoTデータがクラウドにあがるが、これらのデータリソースもリザバーコンピューティングエンジンに処理させて、性能異常・状態のラベル化なども進んでいくと思われる。

本日ceatec2019でQuantum Core 社からお話を伺うことができ、久しぶりに、社会への実用応用性の高い技術に出会えた。

2019年の夏、仕事に趣味に元気に活動をしております。
今年の夏は、山登りに興じておりました。
水泳だけは、毎回2キロを泳ぎ切るよう日々トレーニングをしておりますが、どうも足元が弱っていると思い、【そうだ！　山登りだ！！】と、この1か月もの間、山に登って遊ぶという気持ちで、各方面に向かってきました。

１．高尾山ピストン　５９９ｍ
２．陣馬山　８５７ｍ　から高尾山への尾根伝い歩き
３．丹沢山系　大山　１２５２ｍ　ピストン
４．福島県飯豊山　２１０５　切合小屋宿泊コース

飯豊山が中・上級コース、厳しかったですね。朝3時に郡山駅前集合、弥平七郎口から登山開始。登山道入り口の立て看板。

森林に入る場所にかけられた橋。この夏の冒険は、始まったばかり。

上から垂らされた鎖・ロープをよじ登り、足も動かなくなりはじめます。

１１時前に三国小屋に到着して、軽食を外で取りつつ、本日宿泊予定の切合小屋に向かいます。


変わる山並みが本当に綺麗で、空気の新鮮さと、ほとばしる水のおいしさに身体自身が喜んでおります。

小屋を抜けて山の頂上に向かうのですが、その上げがなかなか辛かった。動きにくくなっている足の上、両サイドが崖というような危険な場所や、鎖だけを頼りに横伝いで岩場を這うようなところをくぐり抜ける必要があり、しかも寒いんです。風もとても強くて体感は10度以下ではなかったかと思います。


山のトップ、最後にこれほど気温が下がり、動けにくくなるとは予想がついておりませんで、わたしは本山小屋までとなりました。
そこから、切り返しを何度か経て、切合小屋まで戻ってきたのが、18時前でした。
なんといいましょう、2019年8月24日は、12時間もアップダウンしながら歩き続けたということになります。雪渓がたくさん残っています、美しすぎます。

今回このような厳しい山への呼びかけてくださいました、友人知人、そして手厚いサポートがなかったら、こんなにも心が満たされることはなかったかもしれません。

お仲間が良かったので、本当に救われました。
飯豊山の見守る役場の方、郡山役場にお勤めの方のサポートも感動しきりです。

皆さん地元を愛し、本当に、山を愛する方ばかりで、
この最終登山ができたのだと感謝ばかりの1日となりました。

2019年夏の良い想い出になりました。本当にありがとうございました。今週から、お仕事、ガンガンと行けそうな気がしております。

引き続き、よろしくお願いいたします。