Deep Neural Networkの共同学習
複数のネットワークを共同で学習させることで，通常の学習よりも精度が向上することが知られています．通常の教師あり学習は，教師ラベルを使用して，ある1つのネットワークを学習させます．これは，人間の学習に例えると，生徒が教科書や参考書のみを使って学習するようなものです．これに対して，先生役のネットワーク（teacher network）や複数の生徒役のネットワーク（student network）を用いて，ネットワーク間で知識を転移させる手法が提案されています．我々は，従来の手法よりも多様性の高い学習ができる表現方法を考え，その枠組みの中で最適な学習方法を探索する研究に取り組んでいます．
複数ネットワークの共同学習における知識転移グラフの自動最適化
本研究では，知識転移手法である Knowledge Distillation や Deep Mutual Learning を内包した，より一般的な知識転移手法を提案しています．知識転移グラフにより，従来手法を含む様々な学習方法を統一的に表現できます．ハイパーパラメータサーチによって知識転移グラフを探索することで，人が設計するよりも効果的な学習方法を獲得することができます．CIFAR100 を用いて最適な知識転移グラフ構造を探索した結果，従来手法よりも高精度になることを確認しました．
知識転移グラフによるアンサンブル学習
知識転移手法をグラフ表現した知識転移グラフをハイパーパラメータサーチによって最適化することで，多様性を持った知識転移方法を獲得する知識転移グラフの自動最適化が提案されています．本研究では，知識転移グラフにアンサンブルを行う機構を導入することで，アンサンブルにおける共同学習の有効性調査と共に高精度化することを目的とします．アンサンブル精度が最大化するように知識転移グラフの最適化を行うことで，ネットワーク間の多様性が大きくなるような学習方法を探索します．また，提案手法では，知識転移グラフに中間層エッジの追加，異なるデータセットで事前学習を行ったネットワーク，誤差逆伝播法によって更新される重みを用いた加重平均アンサンブルを導入することで，最適なアンサンブル方法を探索します．
Generative Adversarial Networksの共同学習
Generative Adversarial Networks（GANs）は，生成モデルであるGeneratorおよび識別モデルであるDiscriminatorを敵対的に学習させることで，実在しない画像を生成する手法です．従来のGANsは単一のGeneratorとDiscriminatorを用いており，Discriminatorを騙しやすい画像を生成するためにGeneratorの生成画像に偏りが生じることにより，モード崩壊が発生するといった問題があります．そこで複数のGeneratorを用い，１つのGeneratorの生成画像に偏りが生じた場合においても他のGeneratorがカバーすることによりモード崩壊を抑制する手法として，Multi-Agent Diverse GANs（MAD-GANs）が提案されています．しかしMAD-GANsは，１つ１つのGeneratorの生成画像に着目すると，多様性が欠如してしまう問題があります．そこで本研究では複数のGeneratorを用い，Generator間において知識転移グラフを導入したGANsの共同学習を提案します．提案手法では，各Generatorに同じ潜在変数を入力し，Generatorにおける中間層の特徴マップを知識転移グラフを用いて転移しながら学習を行います．これにより，各Generatorはいいとこ取りをした学習を実現でき，より多くの知識を得られることから，生成画像の多様性を獲得できます．評価実験により，提案手法における生成画像の質の向上や多様性の獲得を確認し，知識の伝達方法の最適化により性能を最大限に発揮できることを確認しました．
