ニューラルネットワークベースの自然言語処理モデルは，目的タスクに最適化された内部ベクトル表現またはニューロンを学習する能力によって，様々な自然言語タスクで成功を収めています．しかし，モデルが実際にどのような言語現象を学習するのかを理解することは困難で，多様なモデルの構成要素や広範な言語現象を対象とした調査を行うことは難しくなっています．本研究では，モデルの最も細かな構成要素である “ ニューロン” に注目し，そのニューロンが捉える多様な言語現象を明らかにする統一的な方法論を提案しています．提案手法は，言語注釈（例 : 品詞タグ）とメタデータ（例 : 著者）で拡張された大規模テキストコーパスを用いて，ターゲットモデルの各ニューロンを活性化する文集合を抽出し，頻出パターンマイニングやクラスタリングによる抽象化によって，各ニューロンが捉える言語現象を明らかにします．加えて，各ニューロンに紐づく文集合や言語現象に基づいて，複数ニューロン間の関係についても深い洞察を与えます．
研究成果
- OBA, Daisuke; YOSHINAGA, Naoki; TOYODA, Masashi. Exploratory Model Analysis Using Data-Driven Neuron Representations. In: Proceedings of the Fourth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP. 2021. p. 518-528., https://doi.org/10.18653/v1/2021.blackboxnlp-1.41
- 大葉 大輔, 吉永 直樹, 豊田 正史, ニューロンを活性化させるテキストに基づくニューラル自然言語処理モデルの解析手法, 人工知能学会全国大会論文集, 2021, JSAI2021 巻, 第35回 (2021), https://doi.org/10.11517/pjsai.JSAI2021.0_4H3GS11d02