Deep Learning
口頭発表
Refined Consistencyによる知識蒸留を用いた半教師あり学習
- Author
- 村本佳隆, 岡本直樹, 平川翼, 山下隆義, 藤吉弘亘
- Publication
- 人工知能学会全国大会, 2021
Download: PDF (Japanese)
半教師あり学習は，ラベルありデータとラベルなしデータの双方を用いた学習法である．半教師あり学習手法として，2つのネットワーク間で知識を転移するDual Student(DS)，DSのネットワーク数を4つ以上に拡張したMultiple Student(MS)が提案されている．MSはDSに比べて高い精度であるが，全てのネットワーク間での知識転移を一度に行うことができないため，学習効率が悪い．そこで本研究では，効率的な知識転移方法による精度向上を目的として，1度に全てのネットワーク間で知識を転移するRefined Consistencyを提案する．CIFAR-100データセットを用いた実験では，MSに比べて提案手法による精度向上が大きいことを示す．