講演抄録/キーワード |
講演名 |
2013-11-13 15:45
[ポスター講演]交互方向乗数法を用いた確率的双対座標降下法 ○鈴木大慈(東工大) IBISML2013-63 |
抄録 |
(和) |
教師有り構造的正則化学習の双対問題を交互乗数法で解く際に,各更新で一つの
座標方向のみを更新する確率的双対座標降下法の技法を用いた手法を提案する.
提案手法を用いることにより,双対関数が陽に書きくだせないような構造的正則
化問題においても確率的双対座標降下法の技法が適用できるようになる.提案手
法は各更新で一サンプルのみを観測すれば良い点で確率的勾配法と似ているが,
有限個のサンプルからの繰り返し観測を行うことで指数的収束を示すことが証明
される. |
(英) |
We propose a new stochastic dual coordinate ascent technique
that can be applied to a wide range of regularized learning problems.
Our method is based on
Alternating Direction Multiplier Method (ADMM) to deal with complex regularization functions
such as structured regularizations.
Although the original ADMM is a batch method,
the proposed method offers a stochastic update rule where each iteration requires only one or few sample observations.
Moreover, our method can naturally afford mini-batch update and it gives speed up of convergence.
We show that, under mild assumptions, our method converges exponentially.
The numerical experiments show that our method actually performs efficiently. |
キーワード |
(和) |
確率的座標降下法 / 交互方向乗数法 / 指数的収束 / 構造的正則化 / / / / |
(英) |
Stochastic Dual Coordinate Ascent / Alternating Direction Multiplier Method / Exponential Convergence / Structured Sparsity / / / / |
文献情報 |
信学技報, vol. 113, no. 286, IBISML2013-63, pp. 205-212, 2013年11月. |
資料番号 |
IBISML2013-63 |
発行日 |
2013-11-05 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2013-63 |
研究会情報 |
研究会 |
IBISML |
開催期間 |
2013-11-10 - 2013-11-13 |
開催地(和) |
東京工業大学 蔵前会館 |
開催地(英) |
Tokyo Institute of Technology, Kuramae-Kaikan |
テーマ(和) |
第16回情報論的学習理論ワークショップ & 第2回IBISMLチュートリアル |
テーマ(英) |
The 16th IBIS Workshop & The 2nd IBIS Tutorial |
講演論文情報の詳細 |
申込み研究会 |
IBISML |
会議コード |
2013-11-IBISML |
本文の言語 |
日本語 |
タイトル(和) |
交互方向乗数法を用いた確率的双対座標降下法 |
サブタイトル(和) |
|
タイトル(英) |
Stochastic Dual Coordinate Ascent with Alternating Direction Multiplier Method |
サブタイトル(英) |
|
キーワード(1)(和/英) |
確率的座標降下法 / Stochastic Dual Coordinate Ascent |
キーワード(2)(和/英) |
交互方向乗数法 / Alternating Direction Multiplier Method |
キーワード(3)(和/英) |
指数的収束 / Exponential Convergence |
キーワード(4)(和/英) |
構造的正則化 / Structured Sparsity |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
鈴木 大慈 / Taiji Suzuki / スズキ タイジ |
第1著者 所属(和/英) |
東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Inst. of Tech.) |
第2著者 氏名(和/英/ヨミ) |
/ / |
第2著者 所属(和/英) |
(略称: )
(略称: ) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2013-11-13 15:45:00 |
発表時間 |
180分 |
申込先研究会 |
IBISML |
資料番号 |
IBISML2013-63 |
巻番号(vol) |
vol.113 |
号番号(no) |
no.286 |
ページ範囲 |
pp.205-212 |
ページ数 |
8 |
発行日 |
2013-11-05 (IBISML) |