エッジデバイス上で高精度な認識処理を実現する深層ニューラルネットワークのコンパクト化技術を開発

December, 18, 2018, 東京--東芝と理化学研究所（理研）は、深層学習によって得られるAIである「深層ニューラルネットワーク(DNN: Deep Neural Networks）」のコンパクト化技術を開発した。
　この技術は、DNNの性能を維持したままで学習した結果であるパラメーターを80%削減することができ、エッジデバイス上で高精度な音声や画像などの認識処理を動作させることが可能となる。
　この技術は、革新的な次世代人工知能基盤技術における研究開発成果の実用化加速のために2017年4月に設立した、理研AIP－東芝連携センターにおける成果。東芝と理研は、技術の詳細を、IEEE International Conference on Machine Learning and Applications (ICMLA) 2018で発表する。
　ニューラルネットワークは、人間の脳の生物学的な仕組みを模したAIの計算モデルあり、近年ではこのネットワークを多層構造化したDNNを用いることで、より複雑で大規模な認識処理を行うことが可能になりつつある。深層学習によって得られるDNNは人手による処理を必要とする従来の方法よりも高精度であると言われており、音声認識、機械翻訳をはじめ、自動運転向け画像認識まで様々な用途への適用が検討されている。しかし、高い性能を実現するDNNは、大規模で複雑化する傾向があり、演算能力やメモリ量が限られたエッジデバイス上で動作させることが困難だった。このような大規模なDNNをコンパクトにする技術が複数の研究機関から提案されているが、特別な処理や追加学習が必要となるなど、手間がかかることが課題となっていた。
　東芝は、深層学習を行う際に、DNNの一部のパラメーターが自動的にゼロ近傍に収束する「スパース化現象」を発見し、理研と共同でその発生原理を解明した。学習後にゼロとなったパラメーターは認識結果に影響しないことから、学習後にそれらのパラメーターを削除することでDNNのコンパクト化を実現した。公開データセットを用いた実験では、この技術が、従来技術よりも認識精度の低下を抑えつつ、約80%のパラメーターを削減できることを確認した。さらに、パラメーター削減率を調整し、DNNのサイズを柔軟に変更できる方法を開発した。
　「スパース化現象」は、学習条件として（１）活性化関数としてReLU、（２）正則化関数としてパラメーターの二乗ノルム、（３）最適化方法としてAdam、を用いる場合に発生する。これらは一般的に用いられる学習条件であるが、この現象を発生させることは今まで知られていなかった。この現象を用いることで、学習後の不要なパラメーターの削除により、従来に比べて手軽にDNNをコンパクト化できる。
　東芝と理研は今後、自動運転向け画像認識システムなど様々な組み込み機器やエッジデバイスにおける高度なDNNの活用にむけて研究開発を進め、この技術の2～3年後の実用化をめざす。
(詳細は､https://www.toshiba.co.jp)