| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-25 11:00 算術計算学習における自己回帰生成のための生成順序の最適化 ○細川明日紀・内藤煌瑛・佐藤裕太・計良宥志（千葉大）  IBISML2025-49 |
|
| 抄録 | （和） | Transformer による自己回帰生成は，推論過程をトークン列として逐次的に生成する枠組みであり，算術のような多段推論を含む課題にも応用されている．このとき，デコーダが生成する中間過程（連鎖的推論）の順序は学習の難易度に影響しうる．佐藤らは，順序探索により算術タスクで学習しやすい順序を同定した一方で，置換行列を実数値に緩和して混合する方法では，将来トークンの情報が混入する（情報漏洩）可能性を指摘し，探索に基づく手法を提案した．本研究では，佐藤らの回避した置換行列を実数値に緩和によるアプローチを改めて検証する．具体的にはSinkhorn アルゴリズムと Straight Through Estimator (STE) を用いて，置換の学習を情報漏洩なしで行う場合を検証する．順序感度の高い二つの算術タスクで実験し，本アプローチを検証した． 実験の結果，上述の最適化手法は部分的な系列の予測の精度を向上させるが，全トークンが完全に一致する割合（完全一致率）をむしろ減少させた．このことから，勾配法を用いた最適化による順序学習が困難であることが改めて確認された． |
| （英） | Auto-regressive generation with Transformers enables sequential generation of reasoning processes as token sequences, and has been applied to tasks involving multi-step reasoning such as arithmetic. The order of intermediate steps (chain of thought) generated by the decoder can affect learning difficulty. Sato et al. identified learning-friendly orders for arithmetic tasks through order search, while pointing out that relaxing permutation matrices to real values and mixing them can cause information leakage from future tokens, and proposed a search-based approach. This study re-examines the approach of relaxing permutation matrices to real values that Sato et al. avoided. Specifically, we verify the case of learning permutations without information leakage using the Sinkhorn algorithm and Straight Through Estimator (STE). We experiment on two arithmetic tasks with high order sensitivity and investigate the effectiveness and limitations of this method. The results showed that the proposed optimization improves the accuracy of partial sequence prediction but rather reduces the complete match rate (the proportion of all tokens matching exactly). This reaffirms that learning the order through gradient-based optimization is difficult with the proposed method. | |
| キーワード | （和） | Transformer / 自己回帰生成 / 順序最適化 / 算術計算学習 / / / / |
| （英） | Transformer / Autoregressive Generation / Order Optimization / Arithmetic Learning / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 425, IBISML2025-49, pp. 60-66, 2026年3月. | |
| 資料番号 | IBISML2025-49 | |
| 発行日 | 2026-03-17 (IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2025-49 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IBISML ITE-SIP |
| 開催期間 | 2026-03-24 - 2026-03-25 |
| 開催地（和） | あわぎんホール |
| 開催地（英） | |
| テーマ（和） | 人や動物の行動解析、マルチメディア認識技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2026-03-PRMU-CVIM-IBISML-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | 算術計算学習における自己回帰生成のための生成順序の最適化 |
| サブタイトル（和） | |
| タイトル（英） | Optimizing the Ordering in the Chain of Thought for Arithmetic |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Transformer / Transformer |
| キーワード(2)（和/英） | 自己回帰生成 / Autoregressive Generation |
| キーワード(3)（和/英） | 順序最適化 / Order Optimization |
| キーワード(4)（和/英） | 算術計算学習 / Arithmetic Learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 細川 明日紀 / Asuki Hosokawa / |
| 第1著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba U) |
| 第2著者 氏名（和/英/ヨミ） | 内藤 煌瑛 / Koei Naito / |
| 第2著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba U) |
| 第3著者 氏名（和/英/ヨミ） | 佐藤 裕太 / Yuta Sato / |
| 第3著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba U) |
| 第4著者 氏名（和/英/ヨミ） | 計良 宥志 / Hiroshi Kera / |
| 第4著者 所属（和/英） | 千葉大学 (略称： 千葉大) Chiba University (略称： Chiba U) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-25 11:00:00 |
| 発表時間 | 20分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2025-49 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.425 |
| ページ範囲 | pp.60-66 |
| ページ数 | 7 |
| 発行日 | 2026-03-17 (IBISML) |
[研究会発表申込システムのトップページに戻る]