| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-07-22 18:15 大規模言語モデルが作成したLTL式の妥当性判定手法の提案 ～ 信頼度とコサイン類似度に基づく評価 ～ ○大内秀太郎・和田佑太・毛利寿志・武安政明（三菱電機）  SS2026-16 KBSE2026-16 |
|
| 抄録 | （和） | 本稿では大規模言語モデル（LLM）が生成した線形時相論理（LTL）式の妥当性を判定する手法を提案する．提案手法では，(1) LLMが出力するLTL式の出現割合である信頼度スコアと，(2) 入力となる自然言語をLLMの翻訳スタイルに合わせて変換した自然言語と生成LTL式を逆翻訳した自然言語とのコサイン類似度を用いて，予め設定した閾値と比較したときの大小により妥当性を判定する．提案手法を用いて，既存の評価用データセットにおけるLLM生成の妥当性を判定したところ，信頼度スコアの閾値を1，コサイン類似度の閾値を0.59とした場合，89 %のデータにおいて，元の入力自然言語と生成したLTL式が同じ意味であるかを判定できた． |
| （英） | This paper proposes a method for determining the validity of linear temporal logic (LTL) formulas generated by large language models (LLMs). The proposed method assesses validity by comparing two measures against predetermined thresholds: (1) a confidence score, defined as the proportion of times the LLM outputs a given LTL formula, and (2) the cosine similarity between the input natural language transformed to match the LLM’s translation style and the natural language obtained by back-translation of the generated LTL formula. We applied the proposed method to an existing evaluation dataset to judge the validity of LLM-generated outputs. As a result, when the confidence score threshold was set to 1 and the cosine similarity threshold to 0.59, we were able to determine whether the original natural language input and the generated LTL formula had the same meaning for 89 % of the data. | |
| キーワード | （和） | 形式手法 / 大規模言語モデル / 線形時相論理 / / / / / |
| （英） | Formal Methods / Large Language Model / Linear Temporal Logic / / / / / | |
| 文献情報 | 信学技報, vol. 126, no. 125, SS2026-16, pp. 91-96, 2026年7月. | |
| 資料番号 | SS2026-16 | |
| 発行日 | 2026-07-15 (SS, KBSE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SS2026-16 KBSE2026-16 |
|
| 研究会情報 | |
| 研究会 | SS KBSE IPSJ-SE |
| 開催期間 | 2026-07-22 - 2026-07-24 |
| 開催地（和） | 札幌市教育文化会館 |
| 開催地（英） | |
| テーマ（和） | ソフトウェア工学全般／知能ソフトウェア工学全般／ソフトウェアサイエンス全般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SS |
| 会議コード | 2026-07-SS-KBSE-SE |
| 本文の言語 | 日本語 |
| タイトル（和） | 大規模言語モデルが作成したLTL式の妥当性判定手法の提案 |
| サブタイトル（和） | 信頼度とコサイン類似度に基づく評価 |
| タイトル（英） | A Validation Method for LTL Formulas Generated by LLM |
| サブタイトル（英） | Evaluation Based on Confidence Score and Cosine Similarity |
| キーワード(1)（和/英） | 形式手法 / Formal Methods |
| キーワード(2)（和/英） | 大規模言語モデル / Large Language Model |
| キーワード(3)（和/英） | 線形時相論理 / Linear Temporal Logic |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 大内 秀太郎 / Shutaro Ouchi / オオウチ シュウタロウ |
| 第1著者 所属（和/英） | 三菱電機株式会社 (略称： 三菱電機) Mitsubishi Electric Corporation (略称： MELCO) |
| 第2著者 氏名（和/英/ヨミ） | 和田 佑太 / Yuta Wada / ユウタ ワダ |
| 第2著者 所属（和/英） | 三菱電機株式会社 (略称： 三菱電機) Mitsubishi Electric Corporation (略称： MELCO) |
| 第3著者 氏名（和/英/ヨミ） | 毛利 寿志 / Hisashi Mori / モウリ ヒサシ |
| 第3著者 所属（和/英） | 三菱電機株式会社 (略称： 三菱電機) Mitsubishi Electric Corporation (略称： MELCO) |
| 第4著者 氏名（和/英/ヨミ） | 武安 政明 / Masaaki Takeyasu / タケヤス マサアキ |
| 第4著者 所属（和/英） | 三菱電機株式会社 (略称： 三菱電機) Mitsubishi Electric Corporation (略称： MELCO) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-07-22 18:15:00 |
| 発表時間 | 20分 |
| 申込先研究会 | SS |
| 資料番号 | SS2026-16, KBSE2026-16 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.125(SS), no.126(KBSE) |
| ページ範囲 | pp.91-96 |
| ページ数 | 6 |
| 発行日 | 2026-07-15 (SS, KBSE) |
[研究会発表申込システムのトップページに戻る]