| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-09-16 16:55 FAQチャットボットにおける既知意図・未知質問検出手法の複数ドメイン評価 ○今川蓮也・宮森 恒（京都産大）  DE2026-14 |
|
| 抄録 | （和） | 近年，行政機関や企業などでFAQチャットボットが利用されているが，FAQデータベースに適切な回答が存在しない質問へ誤回答する問題がある． 特に未知質問は，対象ドメイン内の質問でありながら対応する回答がFAQデータベースに存在しないため，既知質問と区別できず誤回答の要因となる． 本研究では，UI Gate，UQ Detector，Response Controlからなる既知意図・未知質問検出手法について，政府機関6ドメインと企業1ドメインから評価データセットを構築し，同一条件で評価した． 実験の結果，3クラス分類のMacro-F1は0.672から0.839となり，未知意図検出は比較的安定した一方，未知質問検出にはドメイン差が見られた． また，特徴量分析および誤分類分析から，FAQとの意味的近さが未知質問の見逃しに共通する主要因であること，さらに情報不足型の未知質問は既存特徴量のみでは識別が困難であることを示した． |
| （英） | FAQ chatbots may return incorrect answers when no appropriate answer exists in their databases. In particular, unknown questions with known intents can lead to incorrect responses because their corresponding answers are not available in the FAQ database, yet they cannot be distinguished from known questions. We construct a unified evaluation dataset spanning six government domains and one corporate domain and use it to evaluate, under identical conditions, the known-intent unknown-question detection method consisting of three components: UI Gate, UQ Detector, and Response Control. Experimental results achieved Macro-F1 scores from 0.672 to 0.839. Feature and error analyses revealed that semantic proximity to existing FAQs commonly causes missed unknown questions, while information-insufficient questions remain difficult to detect using the existing features. | |
| キーワード | （和） | FAQチャットボット / 既知意図・未知質問検出 / 複数ドメイン評価 / 密検索 / 回答空間距離 / / / |
| （英） | FAQ chatbot / known-intent unknown-question detection / multi-domain evaluation / dense retrieval / answer-space distance / / / | |
| 文献情報 | 信学技報, vol. 126, no. 181, DE2026-14, pp. 24-29, 2026年9月. | |
| 資料番号 | DE2026-14 | |
| 発行日 | 2026-09-08 (DE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | DE2026-14 |
|
| 研究会情報 | |
| 研究会 | IPSJ-DBS IPSJ-IFAT DE |
| 開催期間 | 2026-09-15 - 2026-09-17 |
| 開催地（和） | 大阪公立大学りんくうキャンパス |
| 開催地（英） | OMU Rinku Campus |
| テーマ（和） | ビッグデータを対象とした管理・情報検索・知識獲得および一般 |
| テーマ（英） | Bigdata management, information retrieval, knowledge discovery, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | DE |
| 会議コード | 2026-09-DBS-IFAT-DE |
| 本文の言語 | 日本語 |
| タイトル（和） | FAQチャットボットにおける既知意図・未知質問検出手法の複数ドメイン評価 |
| サブタイトル（和） | |
| タイトル（英） | Multi-Domain Evaluation of Methods for Detecting Unknown Questions With Known Intents in FAQ Chatbots |
| サブタイトル（英） | |
| キーワード(1)（和/英） | FAQチャットボット / FAQ chatbot |
| キーワード(2)（和/英） | 既知意図・未知質問検出 / known-intent unknown-question detection |
| キーワード(3)（和/英） | 複数ドメイン評価 / multi-domain evaluation |
| キーワード(4)（和/英） | 密検索 / dense retrieval |
| キーワード(5)（和/英） | 回答空間距離 / answer-space distance |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 今川 蓮也 / Renya Imagawa / イマガワ レンヤ |
| 第1著者 所属（和/英） | 京都産業大学 (略称： 京都産大) Kyoto Sangyo University (略称： Kyoto Sangyo Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 宮森 恒 / Hisashi Miyamori / ミヤモリ ヒサシ |
| 第2著者 所属（和/英） | 京都産業大学 (略称： 京都産大) Kyoto Sangyo University (略称： Kyoto Sangyo Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-09-16 16:55:00 |
| 発表時間 | 25分 |
| 申込先研究会 | DE |
| 資料番号 | DE2026-14 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.181 |
| ページ範囲 | pp.24-29 |
| ページ数 | 6 |
| 発行日 | 2026-09-08 (DE) |
[研究会発表申込システムのトップページに戻る] (日本語ページの行間係数: 1)