講演抄録/キーワード |
講演名 |
2011-03-03 10:00
光パス設定の公平性を改善する強化学習法の検討 ○小渕 周・橘 拓至(奈良先端大)・徐 蘇鋼(NICT) NS2010-167 |
抄録 |
(和) |
近年のインターネットトラヒックの急増により,高速大容量伝送を実現する光パス交換の利用が期待されている.
この光パス交換において光パスを動的に設定する場合,伝送ホップ数の違いによって,棄却率に不公平が生じることが知られている.特に分散制御環境では,送受信ノード間の伝送ホップ数が未知であるため,伝送ホップ数に関する公平性を改善することは容易ではない.そこで本稿では,光パス設定の不公平性を改善するために,強化学習とベイズ推定を用いた動的光パス設定法を提案する.提案手法では,光パス設定要求を受けとったノードが経過ホップ数の情報を基にベイズ推定によって伝送ホップ数を予測する.そして予測した伝送ホップ数から,強化学習によって光パス設定要求の受け入れ可否を決定する.この強化学習では,伝送ホップが多い光パス設定を受け入れると多くの報酬を獲得できるため,学習によって公平性の改善が期待できる.提案手法の性能をシミュレーションで評価し,提案手法の効果について調査する. |
(英) |
In lightpath networks, lightpaths whose number of hops is large are not established easily than those whose number of hops is small. This causes the unfairness of the lightpath establishment in terms of lightpath blocking probability. Especially, in a distributed control environment without a central server, it is not easy to resolve such a unfairness. Therefore, we propose a dynamic lightpath establishment with reinforcement learning and Bayesian estimation so as to improve the fairness. In our proposed method, when a node receives a lightpath establishment request, it estimates the total number of hops between source and destination nodes by using Bayesian estimation. Then, the node accepts or rejects the request from the estimated number of transmission hops by using reinforcement learning. In this reinforcement learning, a node obtains a larger reward for the establishment of a large-hop lightpath. Therefore, it is expected that the fairness can be improved by using the proposed method. We evaluate the performance of our proposed method with simulation, and we investigate the effectiveness of the method. |
キーワード |
(和) |
光パス設定 / 強化学習 / Q学習 / ベイズ推定 / 公平性 / / / |
(英) |
Lightpath establishment / Reinforcement learning / Q-learning / Bayesian estimation / Fairness / / / |
文献情報 |
信学技報, vol. 110, no. 448, NS2010-167, pp. 25-28, 2011年3月. |
資料番号 |
NS2010-167 |
発行日 |
2011-02-24 (NS) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NS2010-167 |