| 講演抄録/キーワード |
| 講演名 |
2024-03-08 15:00
LLMによるIssue解決のためのプロンプト及びアプローチの調査 ○倉林利行・丹野治門(NTT) SS2023-72 |
| 抄録 |
(和) |
近年,目覚ましい発展を遂げている大規模言語モデル(LLM)は,ソフトウェア開発領域における活用 も進んでいる.本研究ではLLM によってIssue を解決することを目標とし,Issue 解決に必要なプロンプト及びアプ ローチを調査した.LLM によるIssue 解決能力を評価するためのベンチマークであるSWE-bench では,Issue 解決の 成功率は最大でも約4.8% であり決して高くない.そこでIssue 解決の成功率を向上させるためのプロンプトやアプ ローチについて実験的に調査した.結果として条件付きではあるものの最大44% のIssue がLLM によって自動解決 できる可能性があることがわかった. |
| (英) |
|
| キーワード |
(和) |
大規模言語モデル / LLM / SWE-bench / Issue / ソフトウェア工学 / / / |
| (英) |
/ / / / / / / |
| 文献情報 |
信学技報, vol. 123, no. 414, SS2023-72, pp. 139-143, 2024年3月. |
| 資料番号 |
SS2023-72 |
| 発行日 |
2024-02-29 (SS) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
SS2023-72 |