| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-12-03 15:15 LLMの量子化されたKVキャッシュに向けたReRAMのマッピング手法の検討 ○鈴木渉太・三澤奈央子・松井千尋・竹内 健（東大）  VLD2025-59 ICD2025-79 DC2025-92 RECONF2025-110 |
|
| 抄録 | （和） | 大規模言語モデル (large language models: LLMs) の推論におけるメモリ使用量を削減する手法としてKey-Value (KV) キャッシュの量子化が注目されている．多値 (multi-level cell: MLC) の抵抗変化型メモリ (resistive random-access memory (ReRAM) は2値 (single level cell: SLC) のReRAMと比べて同じ面積でより多くの情報を保持することができる一方で，電流値の揺らぎによりセルのステートの誤検出を引き起こす．本研究ではLLMの推論精度の低下を抑制しつつメモリの面積を減らすために，量子化されたKVキャッシュをReRAMにマッピングする手法を提案する．提案の手法では，量子化されたKVキャッシュを上位ビットと下位ビットに分けて，それぞれをSLC ReRAMとMLC ReRAMにマッピングする．提案手法はPerplexityを7.5未満に抑えながら，メモリセルの数を既存の量子化されたKVキャッシュと比べ25%削減する． |
| （英） | Quantization of Key-Value (KV) cache is a remarkable technology to reduce the usage of memory during the inference of large language models (LLMs). Multi-level cell (MLC) ReRAM can hold more data in a certain area than single-level cell (SLC) ReRAM. However, it introduces some false detections of its cell state due to fluctuations in its cell current. This work proposes a strategy to map quantized KV cache into ReRAM to reduce the memory area while preventing the inference accuracy of LLMs from degrading. The proposal separates its upper and lower bits and maps each of them into SLC ReRAM and MLC ReRAM. The proposed method reduces 25% the number of cells while keeping the perplexity below 7.5. | |
| キーワード | （和） | 大規模言語モデル / KVキャッシュ / 抵抗変化型メモリ / / / / / |
| （英） | LLM / KV cache / ReRAM / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 260, VLD2025-59, pp. 227-232, 2025年12月. | |
| 資料番号 | VLD2025-59 | |
| 発行日 | 2025-11-24 (VLD, ICD, DC, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | VLD2025-59 ICD2025-79 DC2025-92 RECONF2025-110 |
|
| 研究会情報 | |
| 研究会 | VLD DC RECONF ICD IPSJ-SLDM |
| 開催期間 | 2025-12-01 - 2025-12-03 |
| 開催地（和） | 富山国際会議場（富山） |
| 開催地（英） | Toyama International Conference Center |
| テーマ（和） | デザインガイア2025 -VLSI設計の新しい大地- |
| テーマ（英） | Design Gaia 2025 -New Field of VLSI Design- |
| 講演論文情報の詳細 | |
| 申込み研究会 | VLD |
| 会議コード | 2025-12-VLD-DC-RECONF-ICD-SLDM |
| 本文の言語 | 日本語 |
| タイトル（和） | LLMの量子化されたKVキャッシュに向けたReRAMのマッピング手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | Investigation of ReRAM Mapping Techniques for Storing Quantized KV Cache in LLMs |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 大規模言語モデル / LLM |
| キーワード(2)（和/英） | KVキャッシュ / KV cache |
| キーワード(3)（和/英） | 抵抗変化型メモリ / ReRAM |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 鈴木 渉太 / Shota Suzuki / スズキ ショウタ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： The Univ. of Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 三澤 奈央子 / Naoko Misawa / ミサワ ナオコ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： The Univ. of Tokyo) |
| 第3著者 氏名（和/英/ヨミ） | 松井 千尋 / Chihiro Matsui / マツイ チヒロ |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： The Univ. of Tokyo) |
| 第4著者 氏名（和/英/ヨミ） | 竹内 健 / Ken Takeuchi / タケウチ ケン |
| 第4著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： The Univ. of Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-12-03 15:15:00 |
| 発表時間 | 20分 |
| 申込先研究会 | VLD |
| 資料番号 | VLD2025-59, ICD2025-79, DC2025-92, RECONF2025-110 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.260(VLD), no.261(ICD), no.262(DC), no.263(RECONF) |
| ページ範囲 | pp.227-232 |
| ページ数 | 6 |
| 発行日 | 2025-11-24 (VLD, ICD, DC, RECONF) |
[研究会発表申込システムのトップページに戻る]