WEKO3
アイテム
エッジプロービングを用いた事前学習済みの視覚と言語に基づくモデルにおける言語知識の分析
http://hdl.handle.net/10061/0002000457
http://hdl.handle.net/10061/0002000457246ed3be-c362-4c19-b463-41ad21076770
| アイテムタイプ | 学術雑誌論文 / Journal Article(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-06-07 | |||||||
| タイトル | ||||||||
| タイトル | エッジプロービングを用いた事前学習済みの視覚と言語に基づくモデルにおける言語知識の分析 | |||||||
| タイトル | ||||||||
| タイトル | エッジ プロービング オ モチイタ ジゼン ガクシュウ ズミ ノ シカク ト ゲンゴ ニ モトズク モデル ニ オケル ゲンゴ チシキ ノ ブンセキ | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ | conference paper | |||||||
| アクセス権 | ||||||||
| アクセス権 | open access | |||||||
| 著者 |
白井, 尚登
× 白井, 尚登
× 上垣外, 英剛× 渡辺, 太郎 |
|||||||
| 抄録 | ||||||||
| 内容記述タイプ | Abstract | |||||||
| 内容記述 | 近年TransformeベースのVision-and-Language(V&L) モデルが次々に提案され, 画像情報に対する質問応答などのマルチモーダルタスクで成功を収めている. 一方で，V&L モデルが適するタスクを把握するためには，V&L モデルが有する言語処理能力を知ることが必要である．本研究ではエッジプロービングというフレームワークを採用し, 事前学習済み (V&L) モデルである VisualBERT と LXMERTが有する言語知識の分析を行う. このプロービング手法を用いることで品詞タグ付けなど 8 つの分類タスクのスコアの算出と，分類に寄与する隠れ層の定量化を実現する. 実験の結果,VisualBERT は全体的にBERT とタスクごとの精度や分類に寄与する層が近しい一方,LXMERT は全体的に精度が低く, より低層の情報が寄与していることが判明した. | |||||||
| 書誌情報 |
ja : 言語処理学会第29回年次大会発表論文集 p. 2300-2305, 発行日 2023-03-06 |
|||||||
| 出版者 | ||||||||
| 出版者 | 言語処理学会 | |||||||
| 出版者版URI | ||||||||
| 関連タイプ | isReplacedBy | |||||||
| 識別子タイプ | URI | |||||||
| 関連識別子 | https://www.anlp.jp/proceedings/annual_meeting/2023/index.html | |||||||
| 権利 | ||||||||
| 権利情報Resource | https://creativecommons.org/licenses/by/4.0/ | |||||||
| 権利情報 | This work is licensed by the author(s) under CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). | |||||||
| 著者版フラグ | ||||||||
| 出版タイプ | NA | |||||||
