国内会議
非構造的枝刈り手法の構造的手法への変換によるLLMの軽量化
- Author
- 小林亮太，平川翼，山下隆義，藤吉弘亘
- Publication
- 令和七年度 電気・電子・情報関係学会 東海支部連合大会
Download: PDF (Japanese)
大規模言語モデル（LLM）は高性能化が進む一方で，パラメータ増大により計算コストとメモリ使用量が実用化の障壁となっている．軽量化手法の中でも枝刈りは有効だが，非構造枝刈りは精度を維持しやすい反面，演算効率が低い．構造化枝刈りは高速化に適するが性能劣化が生じやすい．本研究では，非構造枝刈りの重み単位スコアをニューロン単位に集約し，構造化枝刈りへ変換する手法を提案する．単純平均では性能が大きく劣化したため，原因を分析した結果，符号情報の損失と外れ値の影響が主要因であると判明した．そこで，平均後に絶対値を取ることで符号の一貫性を保持する手法と，GMMによる外れ値除去を導入した．これにより，非構造から構造化への変換時の性能劣化を大幅に抑制できる．