# タイトルコール テスティングジャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索するをコンセプトに、 エンジニアリングマネージャー兼QAリーダーのサミリーが、 ソフトウェアテストのコツや品相性の奥深さ、そして日々考えていることをお話しします。 # 4.1.2 Retrieval-Augmented Generation こんにちは、さみぃです。今日もワクワクしていますか? そうですね、私はいよいよ今週末がJUST TOKYOなので、それをとても楽しみですね。 基調講演をしていただくガヤトリモハンさんも、1日は2日前かな、にいらっしゃるというところで、 実行委員の人たちとウェルカムディナーをするので、それもとても楽しみです。 はい、ということで、今回はISTKBのシナバス、TESTING WITH GENERATED AIより4.1.2を勉強していきましょう。 4.1.2はRetrieval Augmented Generationなんですけど、これはいわゆるラグと呼ばれているやつですね。 いつもと同じような流れにはなるんですけれど、まずノートブックLMの和訳を読み上げていきます。 それで勉強を深めていきましょう。学びを深めていきましょう。 読んでいきます。 4.1.2 検索拡張生成 検索拡張生成ラグ 追加のデータソースを組み込むことでLLMを強化し、それによって出力の関連性と正確性を高めます。 ラグは検索システムと言語モデルを組み合わせて、コンテキストを考慮した回答を生成します。 前処理、プリプロセッシング中に、大きなドキュメントは集中的な検索とモデルのコンテキストウィンドウとの互換性を確保するために、 小さなチャンク、例えば256から512トークンに分割されます。 各チャンクはクリーニング処理され、事前学習済みモデルを使用して高次元ベクトル埋め込みにエンコードされます。 ベクトルデータベースに保存できるこれらの埋め込みにより、実行時・推論時に効率的な類似性ベースの検索が可能になります。 ユーザーのクエリーがエンコードされ、セマンティックな類似性に基づいて関連するチャンクが検索され、 これらのチャンクが言語モデルのコンテキストとして使用され、根拠に基づいた回答が生成されます。 関連性の高い回答とは、本質的に検索プロセス中に収集された関連性があり、正確で文脈的に適切な情報に深く根差した言語モデルによる出力のことです。 これにより、回答がモデルの既存の学習内容に基づくだけでなく、プロンプトに関連する正確なデータで補強されることが保障されます。 検索と生成のこの相乗効果により、回答の正確性と関連性が向上し、ユーザーにとってより信頼性が高く情報豊かなものになります。 ユーザープロンプトの処理フェーズにおいて、ラグシステムは2段階のプロセスで動作します。 1.検索-Retrieval ユーザーのクエリが与えられると、システムは以前に作成されたベクトルデータベースから関連情報を取得します。 この検索は通常、プロンプトの埋め込みとチャンクの埋め込みの間のセマンティックな類似性にも続いています。 2.生成-Generation 取得された情報はLLMに送られ、LLMは既存の知識と新しく取得したデータを組み合わせて回答を生成し、その結果、より正確で文脈的に適切な出力が得られます。 ソフトウェアテストにおけるラグは、LLM駆動型テストインフラストラクチャがデータベース、ドキュメント、レポジトリなどの企業のエンタープライズデータソースにアクセスして、リアルタイムでコンテキスト情報を取得することを可能にし、 テスト分析やテスト設計などのテストタスクが最新の仕様、要件及び既存のテストデータと確実に整合するようにします。 はい、一気に読んでしまいました。 ラグは聞いたことある方も多いかなと思うんですけど、じゃあラグって何?って聞かれた時に答えられますでしょうか。 ラグというのは、LLMが回答を申請する前に外部の情報を検索して、その関連してそうな情報を使って回答を作る仕組みになりまして、 言い換えると、LLMの頭の中の知識、プラス外部のドキュメント検索をすると、その2つ合わせて回答を作るアーキテクチャのことをラグというふうに言います。 なので、これをテストという観点で考えてみると、シロバスにもこのように書かれていましたね。 LLM駆動型テストインフラストラクチャーがデータベース、ドキュメント、リポジトリなどの企業のエンタープライズデータソースにアクセスをして、 コンテキスト情報を取得するということなので、例えば何か新しい機能とかの仕様、新しい機能だったり、何かしら既存の機能の仕様を聞く質問をしたとして、 基本的に関連するドキュメントを検索するわけですね、LLMが。 例えばAPIの仕様書だったりとか、社内のドキュメントだったりとか、あとはソースコードとかを見ながら、そこからLLMが回答を生成するという流れになります。 これによって最新の仕様だったり、今ドキュメントから要件を読み取ったりとか、既存のテストケースあるいはテストデータみたいなものと整合する回答が出せるようになるということですね。 ラグ、とても大切な仕組みですね。 はい、本編ここまでなんですけれど、今回はクイズじゃなくて最後におまけの話をしようと思っております。 ラグがテストの正確性をどのように高めるのでしょうかという質問に対しての回答をお話ししていきます。 ラグというのはここまでお話しした通り、追加のデータソースを外部からとか、どこかから組み込んでくることによって出力の関連性とか正確性を高めるというお話がシラバスにあったんですけれど、 それがなぜどういうふうにテストの正確性を高めるかという話でポイントは3つあります。 1つ目が最新情報と整合性の確保です。 ラグを活用することで、LLMというのが企業のデータベースだったりドキュメントだったりリポジトリだったりというところにリアルタイムでアクセスできるようになると。 これによってテスト分析やテスト設計などのタスクが最新の仕様だったり要件だったり、既存のテストデータだったりと確実に整合するようになるよというのがまず1つ。 2つ目がハルシネーションと推論エラーの軽減ということで、 LLMはもともらしい回答を生成しますよね。 ただそれが必ずしも正しいとは限らないので、 ラグが取得した正確な情報に深く根差した回答を生成するために、 ハルシネーションだったりとか推論エラーのリスクを最小限に抑える補完的な手法として機能しております。 そして3つ目ですね。ラグが何でテストの生活性を高めるのかという話ですが、 最後3つ目が文脈に即した情報の提供ですね。 これはセマンティック検索とも言うんですけれど、 ラグは単なるキーワードのマッチングではなくて、意味的な類似性ですね。 セマンティックっていうのが意味的なっていう意味なんですけど、 キーワードマッチングではなくて、意味的な類似性に基づいて関連情報を取得します。 LLMは自身の知識に加えて、この特定されたチャンクに分割された正確で文脈的に適切な情報をコンテキストとして受け取るため、 より信頼性の高い回答が可能になりますということですね。 本日は以上です。 # 今日のほっこり話 今日のほっこり話です。 翻訳また始めたよという話をします。 最近JSTUBの技術委員会に入りました。 去年はお試しでというのかな、その委員会に入らずにお手伝いとして シラバスですね、翻訳やったんですけど、 エキスパートレベルのテストマネジメントの翻訳のお手伝いをしたんですけれど、 今回からというのか、 きちんとJSTUBの技術委員会に入って、 翻訳だけじゃないんですけどね、やることはね。 直近まずは別のシラバスの翻訳を始めました。 現段階でどのシラバスの翻訳をやっているかを言っていいかが分からないので、今まだ忘れておくんですけれど、 オープンにしていいよというタイミングになったら、 これのシラバスの日本語版が出ますよと言いますか、 アップデートされますよみたいな話も できたらいいかななんて思っております。 以上今日のおこり話でした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 明日はベイさんとの対談のアーカイブをお届けします。 Voicyのこと、あるいはVoicy社のことをよく知ってくださっている方にとっては ベイさんはきっと有名人かなと思うんですけれど なかなかその社内での実務ってベイさんと関わることってあんまりないかったんですよ。 なので、ベイさんの純粋にキャリアとかがすごい気になったので どういうキャリアを歩んで来られたのかについて聞いてみました。 今回の放送が役に立った方はハートマークで応援をお願いします。 ぜひぜひフォローもよろしくお願いします。 それではまた明日お会いしましょう。ごきげんよう。