| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-07-31 09:30 利用者クエリに適応したLLM評価によるLLMルーティング手法の検討 ○土屋 健（東京国際大）・望月龍一（MRシステムズ）  IN2025-11 |
|
| 抄録 | （和） | 現在，多数のLLMが存在し，多様なサービスを提供している．しかし，利用するユーザ，タスクによって適切なLLMは異なり，どのLLMを利用するのが最適であるのか選定は難しい． 本稿では，ユーザの入力クエリに適したLLMを評価し，選定をLLMに実行させる手法を検討する．具体的には，ユーザの入力クエリに基づいて，LLM評価を実行するroot LLMが候補LLMの特徴，特性を分析する評価クエリを生成する．そして，これら候補LLMの回答をroot LLMが評価し，利用者クエリのルーティングを決定する．現在の評価では，LLMによる評価は，利用者によるLLM評価と相関すること，ユーザの入力に適応して動的にルーティングを決定できることをを明らかにしている． |
| （英） | As Large Language Models (LLMs) have become more popular, a wide range of services have become available. However, many LLMs offer similar functionality, making it difficult for users to determine which model is best suited to their needs. Furthermore, the optimal LLM often depends on the specific user and task, making the selection decision non-trivial. This paper examines methods that can be used to evaluate the LLMs themselves and determine the appropriate routing to the best LLM for a given user task. Specifically, we propose a system in which the “root LLM” generates diagnostic questions based on user input for a given task. These questions are used to elicit answers from candidate LLMs, which are then evaluated by the root LLM to identify the most suitable model. Our evaluation proved that the LLM-based evaluator's ratings correlate highly with human judgments. Furthermore, the system is able to dynamically adapt routing decisions based on user input, highlighting the potential for personalized and context-dependent LLM selection. |
|
| キーワード | （和） | LLMルーティング / LLM評価 / / / / / / |
| （英） | LLM Routing / LLM Evaluations / / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 137, IN2025-11, pp. 1-6, 2025年7月. | |
| 資料番号 | IN2025-11 | |
| 発行日 | 2025-07-24 (IN) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IN2025-11 |
|
| 研究会情報 | |
| 研究会 | CCS IN |
| 開催期間 | 2025-07-31 - 2025-08-01 |
| 開催地（和） | 北海道大学 FMI フード＆メディカルイノベーション国際拠点 |
| 開催地（英） | Global Research Center for Food & Medical Innovation, Hokkaido Univ |
| テーマ（和） | ネットワークの科学、将来ネットワーク 、クラウド/SDN/仮想化、コンテンツ配信・流通、及び一般 |
| テーマ（英） | Network Science, Future Network, Cloud/SDN/Virtualization, Contents Delivery/Contents Exchange, and others |
| 講演論文情報の詳細 | |
| 申込み研究会 | IN |
| 会議コード | 2025-07-CCS-IN |
| 本文の言語 | 日本語 |
| タイトル（和） | 利用者クエリに適応したLLM評価によるLLMルーティング手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | LLM -Based Evaluation for Dynamic Routing Among Large Language Models |
| サブタイトル（英） | |
| キーワード(1)（和/英） | LLMルーティング / LLM Routing |
| キーワード(2)（和/英） | LLM評価 / LLM Evaluations |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 土屋 健 / Takeshi Tsuchiya / ツチヤ タケシ |
| 第1著者 所属（和/英） | 東京国際大学 (略称： 東京国際大) Tokyo International University (略称： Tokyo International Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 望月 龍一 / Ryuichi Mochizuki / モチヅキ リュウイチ |
| 第2著者 所属（和/英） | MR システムズ (略称： MRシステムズ) Mr Systems (略称： MR Systems) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-07-31 09:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IN |
| 資料番号 | IN2025-11 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.137 |
| ページ範囲 | pp.1-6 |
| ページ数 | 6 |
| 発行日 | 2025-07-24 (IN) |
[研究会発表申込システムのトップページに戻る]