講演抄録/キーワード |
講演名 |
2022-07-29 13:25
確率的オートマトンとn-gramに基づくRNNに対するバグ限局 ○石本優太・近藤将成・鵜林尚靖・亀井靖高(九大) SS2022-10 KBSE2022-20 |
抄録 |
(和) |
近年深層学習モデルは自動運転や医療画像解析などの様々な分野で適用されている.深層学習モデルが誤動作すると,重大な事故が発生する可能性がある.この誤動作を特定し修正するために,既存研究では誤動作の原因となるモデルの構成要素(ニューロンなど)を特定し,それらを修正するアプローチが提案されてきた.しかし,これらのアプローチは入力によって変化する動的な内部状態を持つモデルであるRNN(リカレントニューラルネットワーク)には適用できない.
本研究では,RNNの誤動作の原因を特定するため,RNNから抽出した確率的オートマトン上の$n$-gramに着目したバグ限局(PAFL: Probabilistic Automaton-based Fault Localization)を提案する.PAFLは,確率的オートマトンの状態の$n$-gramを利用した疑惑値を計算することで,RNNの誤動作の原因を正確に特定できる.さらに,この疑惑値を利用することで,RNNの誤動作と強く関連するデータサンプルを抽出する手法も提案する.本研究の実験により,PAFLはランダムな選択アプローチと比較して,誤動作に強く関連するデータサンプルを統計的有意に抽出できることが示された.具体的には,予測の難しい2つのデータセット(RTMR,IMDB)において,83%の割合でPAFLはランダムに抽出したデータサンプルよりもRNNの予測精度が低いデータサンプルを抽出できる.実験結果から,PAFLはRNNのバグ限局手法として有用であることが示された. |
(英) |
If deep learning models misbehave, serious accidents may occur.Previous studies have proposed approaches to overcome such misbehavior by detecting and modifying the responsible faulty parts (e.g., neurons of the network) in deep learning models.However, such approaches are not applicable to deep learning models that have internal states that change dynamically based on the input data, for example, recurrent neural networks (RNNs).
To detect misbehavior RNNs, we propose PAFL, a new fault localization approach for application to RNNs.PAFL enables developers to detect faulty parts even in RNNs by computing suspiciousness scores with fault localization using $n$-grams.Furthermore, by using this suspiciousness score, PAFL can extract data strongly associated with RNN misbehavior.Compared to the random approach, PAFL can extract data that are statistically significantly more strongly associated with misbehavior.Specifically, in 83% of all experimental settings for two difficult datasets (i.e., RTMR and IMDB), PAFL can extract data that is difficult to predict of RNNs than randomly extracted data.Our experimental results show that PAFL is useful as a fault localization method for RNNs. |
キーワード |
(和) |
深層学習 / リカレントニューラルネットワーク / バグ限局 / 確率的オートマトン / n-gram / / / |
(英) |
deep learning / recurrent neural network / fault localization / probabilistic automaton / n-gram / / / |
文献情報 |
信学技報, vol. 122, no. 138, SS2022-10, pp. 55-60, 2022年7月. |
資料番号 |
SS2022-10 |
発行日 |
2022-07-21 (SS, KBSE) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
SS2022-10 KBSE2022-20 |
|