| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-01-29 15:20 Transformerにおける数式の表現学習 ○小谷晏経・菊池眞之（東京工科大）  NC2024-58 |
|
| 抄録 | （和） | Transformer等の確率言語モデルにおいて，数式を厳密に扱う能力を向上させることは重要な課題である．本研究では，Transformerが特に関数の同値変形タスクを学習する際に，表面的な変形パターンの記憶のみならず，内部表現においても関数間の恒等性に基づいて自己組織化的にクラスタが形成される現象を確認した．さらに，明示的に内部表現を関数間の恒等性に基づいて最適化する表現学習を行うことで内部表現のクラスタ性が向上した．これらの結果はTransformerが数式を扱ううえで内部表現の最適化が重要であることを示している．将来的には，数式のみで大規模に事前学習したモデルを利用することで，既存の自然言語モデルにおける数式の扱いを効率的に改善できる可能性がある． |
| （英） | In probabilistic language models such as Transformer, it is important to improve the ability to handle mathematical expressions. In this study, we confirmed that Transformer is not only memorizing superficial transformation patterns but also self-organizing the clustering of the internal representation based on the identity of functions when learning the function transformation task. Furthermore, by explicitly optimizing the internal representation based on the identity of functions, the clustering of the internal representation was improved. These results indicate the importance of internal representation optimization for handling mathematical expressions in Transformer. In the future, it is possible to improve the handling of mathematical expressions in existing natural language models by using a pre-trained model that is learned only on mathematical expressions. | |
| キーワード | （和） | 表現学習 / 言語モデル / Transformer / 数式 / / / / |
| （英） | representation learning / language model / Transformer / mathematical expression / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 363, NC2024-58, pp. 90-92, 2025年1月. | |
| 資料番号 | NC2024-58 | |
| 発行日 | 2025-01-21 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2024-58 |
|
| 研究会情報 | |
| 研究会 | NC NLP |
| 開催期間 | 2025-01-28 - 2025-01-29 |
| 開催地（和） | 大阪大学 |
| 開催地（英） | |
| テーマ（和） | NC, NLP, 一般 |
| テーマ（英） | NC, NLP, General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2025-01-NC-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | Transformerにおける数式の表現学習 |
| サブタイトル（和） | |
| タイトル（英） | Representation Learning of Mathematical Expressions in Transformers |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 表現学習 / representation learning |
| キーワード(2)（和/英） | 言語モデル / language model |
| キーワード(3)（和/英） | Transformer / Transformer |
| キーワード(4)（和/英） | 数式 / mathematical expression |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 小谷 晏経 / Yasunori Kotani / コタニ ヤスノリ |
| 第1著者 所属（和/英） | 東京工科大学 (略称： 東京工科大) Tokyo University of Technology (略称： TUT) |
| 第2著者 氏名（和/英/ヨミ） | 菊池 眞之 / Masayuki Kikuchi / キクチ マサユキ |
| 第2著者 所属（和/英） | 東京工科大学 (略称： 東京工科大) Tokyo University of Technology (略称： TUT) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-01-29 15:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2024-58 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.363 |
| ページ範囲 | pp.90-92 |
| ページ数 | 3 |
| 発行日 | 2025-01-21 (NC) |
[研究会発表申込システムのトップページに戻る]