【自己学習ノート】

### 引用情報:
* 著者: Wei Shen, Guanlin Liu, Zheng Wu, Ruofei Zhu, Qingping Yang, Chao Xin, Yu Yue, Lin Yan
* タイトル: Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
* ジャーナル/ソース: arXiv preprint arXiv:2503.22230v2 [cs.LG]
* 出版年: 2025年 (arXiv提出日: 2025年3月31日、論文内日付: 2025年4月1日)
* ページ: 該当なし (arXivプレプリントのため、全30ページ)
* DOI/URL: https://arxiv.org/abs/2503.22230v2
* 所属: ByteDance Seed

1. RLHF（Reinforcement Learning from Human Feedback）とは
1.1 RLHFの概要
【RLHF（Reinforcement Learning from Human Feedback / 人間のフィードバックからの強化学習）】
・AIが生成した複数の回答に対して、人間がより良い回答を選択し、そのフィードバックを基にAIを訓練する手法。
・ChatGPTなどのAIが、ユーザーの意図を汲み取り、自然で安全な回答を生成するために不可欠な技術。

1.2 RLHFのメリット
・AIが知識だけでなく、ユーザーの質問の意図を理解し、より自然で役立つ、安全な回答を生成できるようになる。
・AIの訓練におけるコア技術として、その有効性が広く認識されている。

1.3 RLHFの課題
・【報酬ハッキング（Reward Hacking）】AIが人間の評価基準を形式的に学習し、本質的な理解を伴わずに、評価を最大化するためだけの回答を生成してしまう現象。
・例：長文で丁寧な回答が高評価を得やすいと学習した場合、内容が薄くても長い回答を生成する。
・【応答多様性の低下】学習が進むにつれて、AIの回答が画一的になり、面白みや創造性が失われる問題。
・常に優等生的な回答ばかりになり、柔軟性や意外性がなくなる。
・これらの課題により、データ量を増やしてもAIの性能が向上しない、または悪化する【スケーリングのボトルネック】が生じる。

2. 論文「Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback」
2.1 概要
・人間のフィードバックからの強化学習におけるデータスケーリングの傾向と効果の探求
・AIを賢くするためのデータの与え方、質の順番に着目
・データやプロンプトの選び方、与え方を工夫することで、RLHFの課題を解決しようと試みた。

2.2 課題解決のための3つのデータ戦略
・【ハイブリッド報酬システム】
・人間の評価に加えて、専門家による評価を導入し、AIが表面的な特徴にとらわれず、本質的な内容を理解するように促す。
・数学の問題やプログラミングのコードなど、正解が明確なタスクに対して、専門家が正確な評価を行う。
・GenRMという、スコアを出すだけでなく、なぜそのような評価になったかをAIに考えさせるシステムを導入する。
・【Pre-PPO戦略】
・学習に用いるプロンプトを選別し、AIが答えられなかった難しい問題（スコアの低いプロンプト）を優先的に使用する。
・AIにとって挑戦的な問題を与えることで、AIが安易なショートカットをせず、より深く学習するように促す。
・【タスク優先戦略】
・学習の初期段階で、正解が明確なタスク（数学、コーディングなど）を優先的に学習させる。
・基礎的な能力をしっかりと身につけさせた後、徐々に応用的、創造的なタスクを導入する。
・AIが基礎を確立した上で、応用的な問題にじっくりと取り組むように促す。

2.3 3つのデータ戦略の結果
・AIの総合的な性能が大幅に向上（特に数学とコーディングの能力）。
・報酬ハッキングへの耐性が向上。
・ただし、Pre-PPO戦略において、難易度の高いプロンプトのデータ量を増やしすぎると、逆に性能が低下する可能性がある。

3. 結論
・RLHFの性能を最大限に引き出すためには、アルゴリズムだけでなく、学習データの選び方と与える順番が重要。
・報酬ハッキングに強いタスクを活用し、その後挑戦的なプロンプトを選ぶという学習カリキュラムを設計することが、真に賢いAIを育成する鍵となる。