Deep Learning
口頭発表
階層型Knowledge DistillationによるDNNのコンパクト化
- Author
- 西行健太, 山下隆義, 藤吉弘亘
- Publication
- パターン認識・メディア理解研究会, 2017
Download: PDF (Japanese)
Knowledge DistillationによるDNNのコンパクト化は，Student Networkの学習に中間層の情報を十分に活かせていないため，精度の低下を招く場合がある．本稿では，Teacher/Student Networkの中間層に対して，下位層から順にKnowledge Distillationを行う階層型Knowledge Distillationを提案する．中間層のKnowledge Distillationを行う際に，既存手法のSoft Targetだけでなく，確率分布間の距離推定を適用することで，高精度なStudent Networkを生成することが可能であることを示す．CIFAR-10を用いた評価実験により，従来手法と比較して，約2%の精度向上を確認した．