講演抄録/キーワード |
講演名 |
2022-06-27 14:25
ニューラルアーキテクチャ探索におけるガウス過程回帰の精度向上のためのバギング手法 ○羽田遼音・置田真生・伊野文彦(阪大) NC2022-2 IBISML2022-2 |
抄録 |
(和) |
本研究の目的は,ガウス過程回帰によるベイズ最適化を用いたNAS(Neural Architecture Search)における,
ニューラルネットワークアーキテクチャに対する性能推定の向上である.
その実現のために,本報告は,過学習を抑制することでガウス過程回帰の精度を高めることのできるバギング手法を提案する.
提案手法は,ガウス過程回帰の推定誤差を軽減するために,既存のNAS手法におけるベイズ最適化の獲得関数を拡張する.
この獲得関数は異なる教師データセットを用いて候補アーキテクチャの推論精度を繰り返し推定し,その中央値を返す.
さらに,提案手法は既存手法と同様に,実際に訓練するアーキテクチャを,ベイズ最適化によって精度が高いと推定されたアーキテクチャのみに限定することで,効率的にアーキテクチャを探索する.
実験の結果,提案手法は,100個のアーキテクチャの推論精度に関する推定順位と真の順位とのスピアマンの順位相関係数を,0.772から0.829に向上した.
したがって,提案手法はニューラルアーキテクチャの推論精度を高い精度で推定するために有用であると考える. |
(英) |
The goal of this study is to improve performance estimation for neural network architectures in neural architecture search (NAS), which leverages Bayesian optimization with Gaussian process regression.
To achieve this goal, we propose a bagging method to boost the accuracy of Gaussian process regression by controlling over-fitting.
Aiming to reduce the estimation error with Gaussian process regression, the proposed method extends the acquire function for Bayesian optimization in an existing NAS method: the extended acquire function iteratively estimates the inference accuracy of the target architecture with different supervised datasets and returns the median accuracy.
For the rest, as with the existing method, the proposed method searches neural architectures efficiently by limiting the architectures to be actually trained only to those estimated to show high inference accuracy by Bayesian optimization.
Experimental results show that the proposed method increased Spearman's rank correlation coefficient between an estimated ranking and the true ranking of inference accuracy for 100 neural architectures from 0.772 to 0.829.
This indicates that the proposed method is useful for precisely estimating the inference accuracy of neural architectures. |
キーワード |
(和) |
NAS(neural architecture search) / 代理モデル / ベイズ最適化 / ガウス過程回帰 / 過学習 / バギング(bootstrap aggregating) / / |
(英) |
NAS (neural architecture search) / surrogate model / Bayesian optimization / Gaussian process regression / overfitting / bagging (bootstrap aggregating) / / |
文献情報 |
信学技報, vol. 122, no. 90, IBISML2022-2, pp. 6-13, 2022年6月. |
資料番号 |
IBISML2022-2 |
発行日 |
2022-06-20 (NC, IBISML) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2022-2 IBISML2022-2 |