| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2017-03-07 10:30 正則化項付き経験誤差最小化に対する二重加速確率的分散縮小勾配法 ○村田智也・鈴木大慈（東工大）  IBISML2016-106 |
|
| 抄録 | （和） | We develop a new stochastic gradient method for solving convex regularized empirical risk minimization problem in mini-batch settings. The core of our proposed method is incorporation of our new technique ``double acceleration'' and variance reduction technique. We theoretically analyze our proposed method, and show that our method much improves the mini-batch efficiency of previous accelerated stochastic methods, and essentially only needs size $sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Furthermore, we show that even in non-mini-batch settings, our method still improves the best known convergence rate for non-strongly convex objectives, and achieves the one for strongly convex objectives. |
| （英） | We develop a new stochastic gradient method for solving convex regularized empirical risk minimization problem in mini-batch settings. The core of our proposed method is incorporation of our new technique ``double acceleration'' and variance reduction technique. We theoretically analyze our proposed method, and show that our method much improves the mini-batch efficiency of previous accelerated stochastic methods, and essentially only needs size $sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Furthermore, we show that even in non-mini-batch settings, our method still improves the best known convergence rate for non-strongly convex objectives, and achieves the one for strongly convex objectives. | |
| キーワード | （和） | 凸最適化 / 経験誤差最小化 / 確率的最適化 / 分散縮小 / 二重加速 / ミニバッチ法 / / |
| （英） | convex optimizaition / empirical risk minimization / stochastic optimization / variance reduction / double acceleration / mini-batch method / / | |
| 文献情報 | 信学技報, vol. 116, no. 500, IBISML2016-106, pp. 49-56, 2017年3月. | |
| 資料番号 | IBISML2016-106 | |
| 発行日 | 2017-02-27 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2016-106 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2017-03-06 - 2017-03-07 |
| 開催地（和） | 東京工業大学 |
| 開催地（英） | Tokyo Institute of Technology |
| テーマ（和） | 統計数理，機械学習，データマイニング，一般 |
| テーマ（英） | Statistical Mathematics, Machine Learning, Data Mining, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2017-03-IBISML |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | 正則化項付き経験誤差最小化に対する二重加速確率的分散縮小勾配法 |
| サブタイトル（和） | |
| タイトル（英） | Doubly Accelerated Stochastic Variance Reduced Gradient Method for Regularized Empirical Risk Minimization |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 凸最適化 / convex optimizaition |
| キーワード(2)（和/英） | 経験誤差最小化 / empirical risk minimization |
| キーワード(3)（和/英） | 確率的最適化 / stochastic optimization |
| キーワード(4)（和/英） | 分散縮小 / variance reduction |
| キーワード(5)（和/英） | 二重加速 / double acceleration |
| キーワード(6)（和/英） | ミニバッチ法 / mini-batch method |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 村田 智也 / Tomoya Murata / ムラタ トモヤ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 鈴木 大慈 / Taiji Suzuki / スズキ タイジ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2017-03-07 10:30:00 |
| 発表時間 | 30分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2016-106 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.500 |
| ページ範囲 | pp.49-56 |
| ページ数 | 8 |
| 発行日 | 2017-02-27 (IBISML) |
[研究会発表申込システムのトップページに戻る]