機械知覚&ロボティクスグループ
中部大学

Machine Learning 口頭発表

Hessian-Free法を用いたEcho State Networkの構造探索

Author
濱地優輝, 平川翼, 山下隆義, 藤吉弘亘, 山口裕, 津田一郎
Publication
情報科学技術フォーラム, Vol.2, pp.139-142, 2021

Download: PDF (Japanese)

脳の特徴の一つである機能分化は,脳の最小単位であるニューロンが,目からの視覚信号や耳からの音声信号などの特定の入力情報に対してのみ反応を示すようになる現象である.機能分化の原理を明らかにすることは,脳機能の理解だけでなく,柔軟で適応性を持つ人工ニューラルネットワークのモデル構造やアルゴリズムの提案にもつながると考えられる.これまでに,機能分化を人工ニューラルネットワークを用いて再現し,その計算原理を明らかにする試みが行われている.機能分化を再現するためには脳を模したモデルが必要となるが,生物学的な構造に基づく人工ニューラルネットワークモデルとしてリザバーコンピュータが提案されている.リザバーコンピュータは,ニューロン間の接続関係を示す接続構造と,ニューロン間の接続の強さを示す接続重みを持つモデルである.この接続構造と接続重みはランダム接続で,かつ疎な接続構造からなる.この事から,脳内の微小回路と同様のネットワーク構造を持ち,小脳皮質と新皮質の計算モデルの一つとされている.先行研究では,リザバーコンピュータの一種である,Leaky Echo State Network (LeakyESN)を対象とし,遺伝的アルゴリズムを用いて,ネットワーク構造と重みを探索する事で,機能分化を誘発している.誘発の結果,特定の時間または空間パターンに反応するニューロンが発生する事が報告されている.しかし,重みは連続値である為,先行研究による最適な重みの探索には膨大な時間が必要になる.そこで本研究では,Echo State Network (ESN)を対象とし,Hessian-Free法と遺伝的アルゴリズムを組み合わせた効率的な探索法を提案する.Hessian-Free法と従来の遺伝的アルゴリズムの探索を組み合わせる事で,一個体の精度を向上し,学習の安定性の向上が期待できる.

前の研究 次の研究