機械知覚&ロボティクスグループ
中部大学

Deep Learning

Deep Neural Networkの共同学習

複数のネットワークを共同で学習させることで,通常の学習よりも精度が向上することが知られています.通常の教師あり学習は,教師ラベルを使用して,ある1つのネットワークを学習させます.これは,人間の学習に例えると,生徒が教科書や参考書のみを使って学習するようなものです.これに対して,先生役のネットワーク(teacher network)や複数の生徒役ネットワーク(student network)を用いて,ネットワーク間で知識を転移させる手法が提案されています.我々は,従来の手法よりも多様性の高い学習ができる表現方法を考え,その枠組みの中で最適な学習方法を探索する研究に取り組んでいます.

複数ネットワークの共同学習における知識転移グラフの自動最適化

本研究では,知識転移手法である Knowledge Distillation や Deep Mutual Learning を内包した,より一般的な知識転移手法を提案しています.知識転移グラフにより,従来手法を含む様々な学習方法を統一的に表現できます.ハイパーパラメータサーチによって知識転移グラフを探索することで,人が設計するよりも効果的な学習方法を獲得することができます.CIFAR100 を用いて最適な知識転移グラフ構造を探索した結果,従来手法よりも高精度になることを確認しました.

mprg_minami

次の研究