Boosted Random Forestと転移学習
Random Forestは, 高い識別能力を持ち, 高速な学習・識別が可能なマルチクラス識別器であり, コンピュータビジョンやパターン認識, 機械学習など多くの分野で注目を集めています. アンサンブル学習の一種であるRandom Forestは, 複数の木の多数決により識別判定を行うため, 多くの決定木を構築する必要があります. 決定木の数が多いほど性能は向上しますがメモリ量を必要とし, 決定木の数を減らすと精機別性能が低下するという問題があります. そこで我々は, より少ない決定木で性能の高いRandom Forestの学習法として, Boostingアルゴリズムを導入したBoosted Random Forestを提案しています。また、Random Forestに転移学習を導入したTransfer Forestを提案しています.
Boosted Random Forest
Boosted Random Forestは, 学習サンプルに重みを導入して, Boostingアルゴリズムにより逐次的に決定木を構築していきます. 学習サンプルに対して相補的な決定木を構築し, 少数の決定木での汎化性能の維持を可能とするアプローチです. Boosted Random Forestは, メモリ環境に制限がある組み込みハードウェア上でRandom Forestを実現する際に適しています. UCI Machine Leaning Repositryのデータベースについて評価したところ, Boosted Random Forestは, 通常のRandom Forestと比べて, 性能は同等以上でメモリの使用を大幅に削減することができます（下グラフ）.
Transfer Forest
Random Forestは, 統計的学習法の一つであるため, 学習環境と使用環境が大きく異なると性能低下を避けられず, 使用環境での学習サンプルを収集して再学習する必要があります. この問題に対して, 異なる分布を持つ複数ドメイン(目標ドメインと事前ドメイン)のサンプルに対し、一方から一方へ「転移」を 行うことで効率的に識別器を構築する転移学習手法が提案されています. 我々は、Random Forestに共変量シフトに基づく転移学習を導入したTransfer Forestを提案しています. Transfer Forestは, 決定木構築時に共変量シフトを用いることで, 目標ドメインの学習に適した事前ドメインサンプルのみを利用して決定木を逐次構築していくことで, 目標ドメインにおけるサンプルの減少による性能低下を抑制することが可能となります.
