| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-10-02 12:45 Echo State Networkにおけるレザバー層の初期化が学習安定性と自然言語処理性能にもたらす影響の調査 ○下村晃生・田向 権・田中悠一朗（九工大）  SIS2025-26 |
|
| 抄録 | （和） | 本研究では，言語モデルの構文把握能力において GPT-2 に匹敵すると報告されている Echo State Network の再現実験を行い，その課題を検証した．実験の結果，ESN における学習の不安定性が大きな問題であることを特定した．さらにレザバー層を対象に Perplexity の挙動を解析した結果，重みの分散およびノードごとの入出力分散が安定性に寄与している可能性を示唆する知見を得た．これらの結果は，ESN の構文処理性能を安定的に引き出すための設計指針に繋がると考えられる |
| （英） | In this study, we conducted a replication experiment on echo state networks (ESNs), which have been reported to exhibit syntactic processing abilities comparable to GPT-2. Our findings identified instability in training as a major challenge for ESNs. By analyzing the conditions under which the reservoir layer reduces perplexity (PPL), we obtained evidence suggesting that the variance of weights and the variance of input-output activations across nodes contribute to stability. These results provide insights into design principles for achieving more stable syntactic performance in ESNs. |
|
| キーワード | （和） | Echo State Network / 言語モデル / / / / / / |
| （英） | Echo State Network / Language Model / / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 191, SIS2025-26, pp. 13-16, 2025年10月. | |
| 資料番号 | SIS2025-26 | |
| 発行日 | 2025-09-25 (SIS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SIS2025-26 |
|
| 研究会情報 | |
| 研究会 | ITE-BCT SIS |
| 開催期間 | 2025-10-02 - 2025-10-03 |
| 開催地（和） | 福井繊協ビル |
| 開催地（英） | FUKUI SENKYO bldg. |
| テーマ（和） | システム実現技術，近距離通信応用システム，知的マルチメディア処理システム，放送・通信連携，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SIS |
| 会議コード | 2025-10-BCT-SIS |
| 本文の言語 | 日本語 |
| タイトル（和） | Echo State Networkにおけるレザバー層の初期化が学習安定性と自然言語処理性能にもたらす影響の調査 |
| サブタイトル（和） | |
| タイトル（英） | Investigation of the Impact of Reservoir Layer Initialization on Training Stability and Natural Language Generation Performance in Echo State Network |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Echo State Network / Echo State Network |
| キーワード(2)（和/英） | 言語モデル / Language Model |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 下村 晃生 / Teruki Shimomura / シモムラ テルキ |
| 第1著者 所属（和/英） | 九州工業大学 (略称： 九工大) Kyushu Institute of Technology (略称： Kyutech) |
| 第2著者 氏名（和/英/ヨミ） | 田向 権 / Hakaru Tamukoh / タムコウ ハカル |
| 第2著者 所属（和/英） | 九州工業大学 (略称： 九工大) Kyushu Institute of Technology (略称： Kyutech) |
| 第3著者 氏名（和/英/ヨミ） | 田中 悠一朗 / Yuichiro Tanaka / タナカ ユウイチロウ |
| 第3著者 所属（和/英） | 九州工業大学 (略称： 九工大) Kyushu Institute of Technology (略称： Kyutech) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-10-02 12:45:00 |
| 発表時間 | 20分 |
| 申込先研究会 | SIS |
| 資料番号 | SIS2025-26 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.191 |
| ページ範囲 | pp.13-16 |
| ページ数 | 4 |
| 発行日 | 2025-09-25 (SIS) |
[研究会発表申込システムのトップページに戻る]