| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-10-12 11:30 単語分散表現のオンライン逐次学習を用いた更新方法 ○伊藤 響・松谷宏紀（慶大）  CPSY2021-17 DC2021-17 |
|
| 抄録 | （和） | 既存のWord2vecの実装では、バッチ学習を行っているために再学習時のモデル破棄や学習用データの一時的な保存に大きなメモリ容量が必要となる。これらのことが問題となってメモリ容量が小さい環境においてWord2vecのモデルの学習を行うことは困難となっている。そこで本論文ではWord2vecの学習をオンライン化することで逐次的に送られてくるデータを用いて学習を行うことができ、メモリ容量が小さい環境においてもWord2vecの学習が可能であることを示す。具体的には、Word2vecが3層のニューラルネットワークを対象とした仕組みであることに着目し、同じように3層のニューラルネットワークを対象としたオンライン学習アルゴリズムであるOS-ELMが学習アルゴリズムとして適用可能であることを示す。OS-ELMはバッチサイズを1とすることで計算量を削減する。さらに、Word2vecの高速化手法であるNegative Samplingも取り入れ、OS-ELMと組み合わせた具体的なアルゴリズムを提案する。評価では、英語版Wikipediaのテキスト情報を抽出したデータセットを用いて学習時間と精度を計測し、既存のWord2vec実装と比較する。Word2vecがオンライン学習化されることによって、将来的に、Word2vecの仕組みを応用した様々な技術についてもオンライン学習化可能となり、エッジデバイスでのオンライン学習の幅が広がる可能性がある。 |
| （英） | (Not available yet) | |
| キーワード | （和） | Word2vec / OS-ELM / オンライン学習 / / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 194, CPSY2021-17, pp. 31-36, 2021年10月. | |
| 資料番号 | CPSY2021-17 | |
| 発行日 | 2021-10-04 (CPSY, DC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2021-17 DC2021-17 |
|
| 研究会情報 | |
| 研究会 | DC CPSY IPSJ-ARC |
| 開催期間 | 2021-10-11 - 2021-10-12 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | HotSPA2021: アーキテクチャ，コンピュータシステム，ディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Architecture, Computer Systems, Dependable Computing, etc. (HotSPA202１) |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2021-10-DC-CPSY-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | 単語分散表現のオンライン逐次学習を用いた更新方法 |
| サブタイトル（和） | |
| タイトル（英） | An Update Method of Word Embedding using Online Sequential Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Word2vec / |
| キーワード(2)（和/英） | OS-ELM / |
| キーワード(3)（和/英） | オンライン学習 / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 伊藤 響 / Hibiki Ito / イトウ ヒビキ |
| 第1著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 松谷 宏紀 / Hiroki Matsutani / マツタニ ヒロキ |
| 第2著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-10-12 11:30:00 |
| 発表時間 | 30分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2021-17, DC2021-17 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.194(CPSY), no.195(DC) |
| ページ範囲 | pp.31-36 |
| ページ数 | 6 |
| 発行日 | 2021-10-04 (CPSY, DC) |
[研究会発表申込システムのトップページに戻る]