引用情報:
- 著者: サイモン・A・アイテス、ジンヒョン・ベク、ソン・ジュ・ファン
- タイトル: スケッチ思考: 認知科学に基づく効率的なLLM推論
- ジャーナル/ソース: arXivプレプリント (arXiv:2503.05179v1)
- 出版年: 2025
- ページ数: 16ページ
- DOI/URL: https://arxiv.org/abs/2503.05179
- 所属: KAIST¹、DeepAuto.ai²

1. Sketch-of-Thought (SoT) の概要
1.1 SoTとは
Sketch-of-Thought (SoT)
・認知科学に基づいたLLM（大規模言語モデル）の推論効率を向上させる新しいフレームワーク。
・冗長な中間推論ステップを削減し、トークン使用量を削減。
・専門家が問題を解決する際の思考のショートカットを模倣。

1.2 研究の背景
Chain-of-Thought (CoT)
・LLMが段階的に複雑な問題を解決する手法。
・推論プロセスを詳細に記述するため、トークン数が増加し、計算コストが高くなる傾向がある。
トークン (Token)
・LLMが処理するテキストの最小単位。
・トークン数が少ないほど、処理効率が向上する。

1.3 研究の目的
・LLMの推論精度を維持または向上させながら、冗長な中間推論ステップを削減し、トークン使用量を削減すること。
・より効率的なLLMの利用を可能にする新しいフレームワークを開発すること。

2. SoTの3つの認知パラダイム
2.1 概念連鎖 (Conceptual Chaining)
概念連鎖 (Conceptual Chaining)
・関連する概念を最小限の言葉で繋ぎ、推論経路を明確化する。
・例：「ソウル → 韓国 → ウォン」のように直接的な繋がりを示すことで、不要な説明を排除する。
・人間の記憶ネットワークの連想機能を模倣。
・例:
・「東京 → 日本 → 円」
・「パリ → フランス → ユーロ」

2.2 チャンク化された記号表現 (Chunked Symbolism)
チャンク化された記号表現 (Chunked Symbolism)
・数式や記号を用いて情報をコンパクトに表現する。
・物理の問題を解く際に、言葉で説明する代わりに、変数、数式、計算手順を簡潔に記述する。
・人間のワーキングメモリが情報を「チャンク」で処理する特性を利用。
・例:
・物理学: E = mc^2 (エネルギー = 質量 × 光速度の2乗)
・数学: Σ (総和)
・練習問題: 以下の数式をチャンク化された記号表現で記述してください。
・三角形の面積 = (底辺 × 高さ) / 2
・円の面積 = π × 半径の2乗

2.3 専門家レキシコン (Expert Lexicons)
専門家レキシコン (Expert Lexicons)
・特定の分野の専門家が使用する略語や専門用語を活用する。
・医療分野における「STEMI (ST-Elevation Myocardial Infarction)」や「MONA (Morphine, Oxygen, Nitroglycerin, Aspirin)」など。
・専門家が知識を効率的に整理・伝達するために使用する「スキーマ」を応用。
・例:
・IT: API (Application Programming Interface)
・金融: ROI (Return on Investment)

3. 実験結果
・15種類の推論データセットを使用してSoTの有効性を検証。
・SoTは、トークン使用量を平均76%削減しつつ、推論精度を維持または向上させることに成功。
・特に、数学的推論や複数ステップを必要とする推論において精度が向上。
・多言語およびマルチモーダルデータセットでもSoTの有効性が確認された。

4. 結論と今後の展望
・認知科学に基づく構造化が効率的な推論を実現できることを示した。
・動的なパラダイム選択が汎用性の向上に貢献することを示唆した。
・SoTは、モバイルおよびエッジ環境でのLLM推論の実装を加速し、大規模モデルの運用コストを削減する可能性を秘めている。
・リソースが限られた地域やリアルタイム推論を必要とするアプリケーションでの高度なAI技術の普及を促進することが期待される。