講演抄録/キーワード |
講演名 |
2021-12-17 18:10
[ショートペーパー]Q学習を利用したグラフ上のランダムウォークの効率化に関する一検討 ○宮下智行・鈴木泰誠・松尾涼太郎・大崎博之(関西学院大) IA2021-51 |
抄録 |
(和) |
近年、グラフ上のランダムウォークに代表される、未知のグラフ上でのエージェントの移動モデルや、そのようなエージェントの移動モデルの数理的特性の研究が行われている。また、グラフ上のエージェントの移動モデルを、ネットワークの探査やネットワーク上での情報探索などへ応用する試みも始まっているグラフ上の移動モデルは、移動エージェントが利用できる情報が非常に限定的であるため、その特性を改善することは容易ではない。本稿では、エージェントが移動中に利用できる情報が非常に限定的な場合に、ランダムウォークの特性をどの程度改善できるかを検討する。特に、機械学習の一種である強化学習を用いることにより、ランダムウォークの特性をどの程度改善できるかを実験により調査する。具体的には、強化学習の一つであるQ学習によって学習したQ値を用いることにより、エージェントが移動先ノードを決定するランダムウォークである Q 学習に基づくランダムウォークを提案する。さらに、提案するQ学習に基づくランダムウォークの有効性を実験により調査する。その結果、QW-RW の移動エージェントはランダムウォークに基づく代表的な移動モデルの場合と比較して、同程度か、やや高速にグラフを被覆することなどがわかった。 |
(英) |
In recent years, modeling mobile agent on unknown graphs, such as random walks on graphs and understanding its mathematical properties have been studied. The mobility models of agents on graphs has also began to be applied to network exploration and information search on networks. It is not easy to improve the properties of the mobility models on graphs, because the information available to the mobile agents is very limited. In this paper, we investigate to what extent the properties of random walks can be improved when the mobile agents has access to very limited information. In particular, through experiments, we examine how much the properties of random walk can be improved using a kind of machine learning, reinforcement learning. Specifically, we propose a random walk based on Q-learning (QW-RW; Q-Weighted Random Walk), in which an agent decides a destination node using Q-values learned by Q-learning, one of the reinforcement learning techniques. Furthermore, through simulation experiments, we examine the effectiveness of the QW-RW. Our findings include that the QW-RW mobile agent covered the graph as fast as or slightly faster than the typical mobile model based on a random walk. |
キーワード |
(和) |
Q学習に基づくランダムウォーク / ランダムウォーク / Q-学習 / 移動モデル / 強化学習 / / / |
(英) |
Q-Weighted Random Walk / Random Walk / Q-learning / Mobility Model / Reinforcement Learning / / / |
文献情報 |
信学技報, vol. 121, no. 300, IA2021-51, pp. 100-103, 2021年12月. |
資料番号 |
IA2021-51 |
発行日 |
2021-12-09 (IA) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IA2021-51 |
研究会情報 |
研究会 |
IN IA |
開催期間 |
2021-12-16 - 2021-12-17 |
開催地(和) |
広島大学東千田キャンパス |
開催地(英) |
Higashi-Senda campus, Hiroshima Univ. |
テーマ(和) |
性能評価とシミュレーション、信頼性技術、スループットやトラヒックの計測、品質(QoS)制御、輻輳制御、トラヒック・フロー制御、オーバーレイネットワーク・P2P、IPv6 、マルチキャスト、ルーティング、DDoS及び一般 br>※※※ 本研究会の2日目は情報指向ネットワーク技術特別研究会(ICN)とも併催です※※※ |
テーマ(英) |
Performance Analysis and Simulation, Robustness, Traffic and Throughput Measurement, Quality of Service (QoS) Control, Congestion Control, Overlay Network/P2P, IPv6, Multicast, Routing, DDoS, etc. |
講演論文情報の詳細 |
申込み研究会 |
IA |
会議コード |
2021-12-IN-IA |
本文の言語 |
日本語 |
タイトル(和) |
Q学習を利用したグラフ上のランダムウォークの効率化に関する一検討 |
サブタイトル(和) |
|
タイトル(英) |
Study on Improving the Characteristics of Random Walk on Graph using Q-learning |
サブタイトル(英) |
|
キーワード(1)(和/英) |
Q学習に基づくランダムウォーク / Q-Weighted Random Walk |
キーワード(2)(和/英) |
ランダムウォーク / Random Walk |
キーワード(3)(和/英) |
Q-学習 / Q-learning |
キーワード(4)(和/英) |
移動モデル / Mobility Model |
キーワード(5)(和/英) |
強化学習 / Reinforcement Learning |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
宮下 智行 / Tomoyuki Miyashita / ミヤシタ トモユキ |
第1著者 所属(和/英) |
関西学院大学 (略称: 関西学院大)
Kwansei Gakuin University (略称: Kwansei Gakuin Univ.) |
第2著者 氏名(和/英/ヨミ) |
鈴木 泰誠 / Taisei Suzuki / スズキ タイセイ |
第2著者 所属(和/英) |
関西学院大学 (略称: 関西学院大)
Kwansei Gakuin University (略称: Kwansei Gakuin Univ.) |
第3著者 氏名(和/英/ヨミ) |
松尾 涼太郎 / Ryotaro Matsuo / マツオ リョウタロウ |
第3著者 所属(和/英) |
関西学院大学 (略称: 関西学院大)
Kwansei Gakuin University (略称: Kwansei Gakuin Univ.) |
第4著者 氏名(和/英/ヨミ) |
大崎 博之 / Hiroyuki Ohsaki / オオサキ ヒロユキ |
第4著者 所属(和/英) |
関西学院大学 (略称: 関西学院大)
Kwansei Gakuin University (略称: Kwansei Gakuin Univ.) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2021-12-17 18:10:00 |
発表時間 |
15分 |
申込先研究会 |
IA |
資料番号 |
IA2021-51 |
巻番号(vol) |
vol.121 |
号番号(no) |
no.300 |
ページ範囲 |
pp.100-103 |
ページ数 |
4 |
発行日 |
2021-12-09 (IA) |
|