| 講演抄録/キーワード |
| 講演名 |
2026-10-08 13:00
会話履歴の参照と評価基準の開示がLLMによる貢献度推定に与える影響 ○能勢山凌大・片岡 悠・馬場元岐・板野竜也・小比賀亮仁・小板隆浩(同志社大) ICTSSL2026-17 |
| 抄録 |
(和) |
クラウドソーシングでは作業単位で報酬が確定するため,事業が後に生む収益は働き手に分配されない.作業単位で報酬が確定する仕組みに対し,収益化後に貢献度に応じて報酬を分配する仕組みが提案されている.仕
組みの成立には参加者が納得できる貢献度の算出が必要であり,人手による評価の負担と偏りに対処する手段として,大規模言語モデル(LLM)を評価器として用いることが提案されている.LLM による評価は入力する記録と評価基準に依存し,成果物と変更履歴だけでは議論の調整や作業方針の決定を捉えられない.また,評価基準の開示は参加者の行動を変え,評価の対象となる記録にも影響する.本研究では,会話履歴を入力に加えたときの推定貢献率の変化と,会話履歴の参照および評価基準の開示が参加者の納得感に与える影響を調査する.クラウドソーシングで募集した4 名1 組のチームに非同期の共同作業を依頼し,成果物,変更履歴,会話履歴を用いてLLM で貢献率を推定し,納得感を調査する. |
| (英) |
On crowdsourcing platforms, rewards are fixed per task, so the revenue a project later generates is not distributed to the workers. Against this arrangement, a platform has been proposed that distributes rewards according to contribution once a project generates revenue. Such a platform requires contribution estimates that participants accept, and using a large language model (LLM) as the estimator has been proposed as a way of addressing the cost and bias of human evaluation. Estimation by an LLM depends on the records given as input and on the evaluation criteria: the artifact and its change history alone do not capture work such as coordinating discussion or deciding on conventions. Disclosing the criteria also changes how participants behave, and thereby the records that are evaluated. We investigate how the estimated shares change when conversation logs are added to the input, and how access to the logs and disclosure of the criteria affect participants’ acceptance of the result. Teams of four recruited on a crowdsourcing platform collaborate asynchronously, an LLM estimates contribution shares from the artifact, the change history and the conversation log, and each participant is asked how far they accept the result. |
| キーワード |
(和) |
貢献度推定 / 大規模言語モデル / 協調作業 / 報酬分配 / 納得感 / クラウドソーシング / / |
| (英) |
contribution estimation / large language models / computer-supported cooperative work / reward allocation / perceived fairness / crowdsourcing / / |
| 文献情報 |
信学技報, vol. 126, no. 186, ICTSSL2026-17, pp. 1-6, 2026年10月. |
| 資料番号 |
ICTSSL2026-17 |
| 発行日 |
2026-10-01 (ICTSSL) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
ICTSSL2026-17 |