【本学研究者情報】

〇工学研究科　教授　林部充宏
研究室ウェブサイト

【発表のポイント】

• スパイキングニューラルネットワーク^注1と深層強化学習^注2を組み合わせることで、エネルギー効率のよい歩行パターンの生成に成功した

• 探索能力がもともと高い深層強化学習アルゴリズムに対しても、スパイキングニューラルネットワークの追加効果が現れた

• これまで報告されていたノイズに対する耐性や環境適応性以外の新たな機能を発見することができた

【概要】

脚ロボット^注3は高い移動性能を有することから様々な環境下での利用が期待されますが、他の移動ロボット(車輪型など)と比較して移動のエネルギー効率が悪いことが課題とされています。東北大学大学院工学研究科の林部充宏教授と納谷克海大学院生らの研究グループは、スパイキングニューラルネットワークを用いた深層強化学習によって、エネルギー効率のよい脚ロボットの歩行パターンの生成に成功しました。これまで、深層強化学習によってエネルギー効率のよい行動を学習するためには、エネルギーに関するペナルティ項を報酬^注4に設ける手法が用いられてきました。しかし今回、スパイキングニューラルネットワークを用いることで、より厳しいペナルティ項においても歩行学習に成功し、エネルギー効率のよい歩行が学習できました。スパイキングニューラルネットワークについては、これまでは主にノイズに対する耐性や環境適応性が可能という点が注目されてきましたが、スパイキングニューラルネットワークの導入により、運動学習分野での新たな用途への活用が期待されます。

本成果は、2021年１２月１日付で科学ジャーナルの「IEEE Access」に最終稿が掲載されました（投稿版は11月9日公表済）。

関連動画（YouTube）

【用語解説】

注1. スパイキングニューラルネットワーク：スパイクニューロンを構成素子とし、スパイク(ニューロンの発火)によって情報処理を行うニューラルネットワーク。膜電位を内部状態として持ち、時系列を考慮した計算が可能である他、ニューロモルフィックデバイスを用いることで省電力な計算が可能である。

注2. 深層強化学習：環境で試行錯誤を繰り返すことにより最適な行動を学習する枠組みのことを強化学習と呼び、それに深層学習を利用したものを深層強化学習と呼ぶ。

注3. 脚ロボット：脚の接地点を踏換えて移動する形式の歩行ロボットで、車輪式のような連続接地を必要とせず、接地不可能な凹凸部分や軟弱部分をまたぎ移動できるという特徴を持つ。

注4. 報酬：強化学習の枠組みで用いられる計算指針のようなもので、AIが導いた結果の評価として得られるものを報酬と呼び、その逆をペナルティ（罰則）と呼ぶ。

詳細（プレスリリース本文）

問い合わせ先

< 研究に関して >
東北大学大学院工学研究科 ロボティクス専攻
教授 林部 充宏
電話 022-795-6970
E-mail: mitsuhiro.hayashibe.e6*tohoku.ac.jp
（*を@に置き換えてください）

< 報道に関して >
東北大学工学研究科情報広報室
担当 沼澤 みどり
TEL: 022-795-5898
E-mail: eng-pr*grp.tohoku.ac.jp
（*を@に置き換えてください）