国内会議
継続事前学習によるドメイン特化LLM 構築のためのMLM
- Author
- 高本涼馬，増田大河，平川翼，山下隆義，藤吉弘亘
- Publication
- 令和七年度 電気・電子・情報関係学会 東海支部連合大会
Download: PDF (Japanese)
汎用的かつ大規模な自然言語処理モデルは，多様な言語タスクにおいて高い性能を示しており，様々なタスクで応用されている．Bidirectional Encoder Representations from Transformers (BERT) は，自己教師ありの事前学習モデルとして広く用いられ，双方向の文脈情報を利用可能であることから，汎用的な言語理解モデルの基盤となっている．しかし，BERTを含む多くの大規模言語モデルはWikipediaやBooksCorpusなどの一般的な文章を用いて事前学習されており，学術論文などの分野特有の語彙や表現に対しては十分な性能を発揮できないという課題がある．本研究では，専門的な文脈や語彙を対象とし，専門的な表現の獲得が可能な学習手法を提案する．