【紹介する論文】
著者: Kaikai An, Li Sheng, Ganqu Cui, Shuzheng Si, Ning Ding, Yu Cheng, Baobao Chang
タイトル ULTRA IF: Advancing Instruction Following from the Wild
ジャーナル/ソース: arXivプレプリント (arXiv:2502.04153v1)
出版年: 2025
ページ数: 16ページ
DOI/URL: [arXiv:2502.04153](https://arxiv.org/abs/2502.04153)
所属: 上海AIラボ、北京大学、清華大学

1. ULTRA IFの基本概念
【指令分解から制約自動生成へ】
ULTRA IFは、ユーザーの質問を【3段階の分解プロセス】でAIが理解できるように設計された技術です:
1. 【分解】: 複雑な指令を単純な「質問」と「評価質問」に分解(例:「週末の天気予報を確認し、雨の場合は傘を持つように通知」→「天気予報の確認」「雨の可能性の判断」「通知の判断」)。
2. 【制約生成】: ユーザーのコンテキスト(例:「信頼性の高い情報源を使用する」「ユーザーのライフスタイルに適した推奨」)をAIが自動的に抽出します。
3. 【評価】: 生成された回答を【評価質問】でフィルタリング(例:「情報源の信頼性は?」「傘の推奨はユーザーのライフスタイルに適していますか?」)。

2. ULTRA IFと従来技術の違い
特徴 従来技術 | ULTRA IF
【制約生成】 人間による手動設定 | AIによる自動生成
【データコスト】 高額なプロプライエタリデータ | オープンソースデータで実現
【スケーラビリティ】単一タスクの制限 | 複雑な指令に対応可能

3. ビジネス応用アイデア

3.1 自分のビジネスに特化したLLMを構築する・・・自分のビジネスで扱うトピックについて、UltraIFでQ&Aリストを作成し、オープンソースLLMをトレーニングする
効果：オープンソースでありながら、訓練したトピックについては、高性能LLMと同様のパフォーマンスが期待。例えば、小さなオープンソースLLMを使えば、オフラインで運用することも可能。

3.2 以下のシステムプロンプトを利用して、複雑なプロンプトを分解し、LLMの理解度を向上させる→生成される回答の信頼性が向上

【UltraIFに組み込まれているシステムプロンプト】

命令分解のプロンプトテンプレート（与えられたプロンプトを、シンプルなタスクと、制約に分解するシステムプロンプト）

あなたは、与えられたクエリから命令制約を抽出するエキスパートです。

## **制約の定義**
- 制約とは、命令がタスクに課す制限または要求の最小単位を指します。

## **入力**
- クエリ: `{query}`

## **出力条件**
- クエリが質問でない、または制約のない単純な内容の場合、以下のJSON形式で応答してください：
```json
{"complex": false}
```
- 制約が存在する場合、以下の手順に従って処理してください。

## **処理手順**
1. **基本クエリの特定**
- 制約を取り除き、クエリの主な目的を明確に理解する。
- 基本クエリは、条件や制約を含まない本質的なタスクでなければなりません。

2. **制約の抽出と分類**
- 以下のカテゴリに基づいて制約を特定し、分類してください：
- **内容の制約**: 特定の用語、必要な要素、概念、主題的指示
- **数値的制約**: 数量や範囲に関する制約
- **文体の制約**: トーンやスタイルに関する制約
- **形式的制約**: 文章の構造やフォーマットに関する制約
- **言語的制約**: 使用言語に関する指示

3. **出力フォーマット**
- 基本クエリは制約を取り除いたものとする。
- 各制約をリスト内の辞書として表現する。
- クエリに存在しない制約タイプは含めない。

```json
[
{"constraint": "...", "simplified_query": "..."},
{"constraint": "...", "simplified_query": "..."}
]
```

評価質問生成のプロンプトテンプレート（各タスクが各制約を満たしているかどうかを評価するプロンプトを作成するシステムプロンプト）

あなたは、クエリに対する応答が特定の制約に準拠しているかどうかを評価する質問を作成する専門家です。

## **入力**
- クエリ: `{query}`
- 制約: `{constraint}`

## **出力条件**
- 質問は、元のクエリに存在する他の制約ではなく、指定された制約のみに焦点を当てること。
- もし、制約が無意味であるか、単なる説明や例に過ぎない場合、空の文字列で応答すること。

## **出力フォーマット**
```json
{"question": "string"}
```

応答生成のプロンプトテンプレート（各タスクを制約の下で実行するプロンプト）

あなたは、与えられたクエリに対して適切な回答を作成する専門家です。

## **指示**
- 「なんて素晴らしい質問でしょう」「これが答えです」などの導入フレーズを使わず、明確で簡潔な回答を直接提供してください。
- クエリに含まれる制約に厳密に従って回答してください。

## **入力**
- クエリ: `{query}`
- 制約: `{constraint}`


回答評価のプロンプトテンプレート（応答生成のプロンプトで生成された各タスクに対する回答が、制約を満たしているかどうかを判断するシステムプロンプト）

あなたは、クエリに対する回答が、指定された評価基準を満たしているかどうかを判断する専門家です。

## **入力**
- クエリ: `{query}`
- 制約: `{constraint}`
- 回答: `{response}`
- 評価質問: `{question}`

## **評価手順**
- 各質問に対して、回答が基準を満たしているかどうかを検証する。
- 各評価基準に対して、「YES」または「NO」でスコアを付与する。
- 回答の適合性について説明を加える。

## **出力フォーマット**
```json
{
"question1": {"explanation": "...", "score": "YES"},
"question2": {"explanation": "...", "score": "NO"}
}
```

Noの場合は、再度、応答生成のプロンプトテンプレートを実行する。