# タイトルコール テスティングジャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索する、をコンセプトに、 エンジニアリングマネージャー兼キューリーダーのサミーが、 ソフトウェアテストのコツや品質保証の奥深さ、そして考えていることをお話しします。 # 4.1.1 Key Architectural Components and Concepts of LLM-Powered Test Infrastructure こんにちは、さみぃです。いかがお過ごしでしょうか。 2回、2日連続でタイトルコールを噛みましたが、そんな日もありますよねということで、 今回は、ISDQPのシラバス、Testing with Generative AIの4章、4.1章を読んでいきます。 4章はですね、ソフトウェアテスト用のLLM駆動型テストインフラストラクチャについて書かれています。 4も4.1も4.1.1もですね、4章はインフラ系の話となっております。 今回もですね、流れとしては最初にノートブックLMの和訳を読み上げて、 途中で切りながら考えていること、感想みたいなところをお話ししつつ、 最後、時間がいっぱいいっぱいになっていなければクイズを用意しようかなと考えております。 ではやっていきましょう。 4章、ソフトウェアテスト用のLLM駆動型テストインフラストラクチャ。 ここはですね、キーワードだけが書かれているんですよね。 キーワードとしてはテストインフラストラクチャ。 生成AI固有のキーワードとして、ファインチューニング、LLM駆動型エージェント、 Large Language Model Operations、検索拡張生成、括弧Retrieval Augmented Generation、ベクトルデータベースという風になっております。 続いて4.1章読みます。 LLM駆動型テストインフラストラクチャのアーキテクチャアプローチ。 AIチャットボットとLLM駆動型テストツールは、LLMを使用した2つのタイプのテストインフラストラクチャです。 括弧セクション1.2.2は参照。 LLM駆動型テストインフラストラクチャの基本アーキテクチャに加えて、 検索拡張生成及びLLM駆動型エージェントアーキテクチャは、ソフトウェアテストにおけるLLM使用の機能性と有用性を拡張します。 ここまでの内容をまとめると、このLLM駆動型テストツールは、LLMを使ったテストインフラストラクチャです。 基本アーキテクチャプラス検索拡張生成プラスLLM駆動型エージェントアーキテクチャがあるということです。 詳細はこの後に出てきますので、次、4.1.1を読んでいきます。 4.1.1。LLM駆動型テストインフラストラクチャの主要なアーキテクチャコンポーネントと概念。 LLM駆動型テストインフラストラクチャとは、オートメーション・推論及び意思決定を強化するために、ソフトウェアテストプロセスにLLMを統合したシステムを指します。 会話のやりとりに主眼を置く従来のAIチャットボットとは異なり、LLM駆動型テストツールは、テスト関連のクエリ処理、要件分析、テストケース生成及び出力評価を行うことで、ソフトウェアテストを支援するように設計されています。 LLM駆動型テストインフラストラクチャの典型的なアーキテクチャは、LLMとの安全で効率的な相互作用を促進するマルチコンポーネント設計に従います。 このアーキテクチャは、フロントエンドとバックエンドのコンポーネント、及び外部データソースと統合されたLLMで構成されます。 それぞれ説明されているのですが、フロントエンドはテスターがクエリアコマンドを入力してシステムと対話するユーザーインターフェースとして機能します。 2つ目、バックエンドはユーザー入力を処理し、印象、データ取得、プロンプトの準備、及びLLMとの相互作用などの重要な機能を管理します。 そして3つ目、LLMはサードパーティーサービス、APIキーでアクセス、またはカスタムのインハウスモデルとしてホストされ、構造化されたプロンプトに基づいて回答を生成します。 このアーキテクチャは、LLMやマルチソースバックエンドなどのインテリジェントな処理コンポーネントを組み込むことで、従来のグライアントサーバーモデルを超えたものになっています。 ここから4つ書かれていますね。 1、LLMは単なるサーバーではなく、テスト成果物に基づいて解釈し推論するスマートな処理コンポーネントです。 2、台本通りの回答に従うルールベースのチャットボットとは異なり、LLM駆動型テストインフラストクラクチャーは、要件、行動、テスト結果などのコンテキストから動的にテストの動作図を生成します。 3つ目、バックエンドは、以下のような複数のデータソースを統合します。 1個目が、リレーショナルデータベース、テストケースなどのテストで使用される構造化データ用。 2つ目は、ベクトルデータベース、埋め込みを使用した関連コンテンツのセマンティック検索用、セクション4.1に参照。 そして、最後4つ目ですね。バックエンドは、LLMの生の出力をポストプロセッシング、後処理によって強化し、フロントエンドに提示する前に、回答がテストプロセスのテスト条件と一致していることを確認します。 4.1.1はここまでになります。 4.1.1では、ソフトウェアテストにおけるLLMを使った場合の機能性について書かれているのかなというふうに解釈しました。 アーキテクチャとしては、フロントエンド、バックエンドをLLMに分かれていて、フロントエンドからコマンドをインプットして、 それとバックエンドで入力されたものを処理をして、LLMの方で回答を生成すると。 またその回答がバックエンドを通してフロントエンドに返ってくるという感じでしょうか。 あとは、間奏レベルになってしまうんですけれど、バックエンドで以下のような複数のデータソースを統合するというのは、 これでリレーショナルデータベースとベクトルデータベースという話が出ていました。 RDBの方は知っていたんですけれど、ベクトルデータベースはあまり初めて聞いたので、 ちょっと4.1.2、次回の章で勉強していきたいと思います。 ということで、テストインフラのところはあまり詳しくないので、間奏以上のことを言いませんでしたので、 クイズに入っていきたいと思います。5問あります。 では、早速1問目いきますね。 LLMを搭載したテストインフラストラクチャーは、従来のルールベースのチャットボットと同様に、 あらかじめ定義されたスクリプトに従ってのみ応答を生成します。○か×か。 結構簡単ですね。正解は×です。 LLMは要件やコードなどのコンテキストから動的にテストの動作を生成しますということですね。 続いて2問目いきます。 LLMを搭載したテストインフラストラクチャーのアーキテクチャにおいて、認証をデータの取得、 プロンプトンの作成、およびLLMとのやりとりを管理するのはバックエンドの役割である。○か×か。 正解は○ですね。 バックエンドはフロントエンドからのユーザー入力を受け取り、 外部データソースやLLMと連携してテストタスクを追加するための収穫的なロジックを管理しています。 どんどんいきますね。3問目。 LLMを搭載したテストインフラストラクチャーにおけるLLMは、単なるサーバーとしてではなく、 テスト性化物に基づいて解釈や推論を行うインテリジェントな処理コンポーネントとして機能します。○か×か。 正解は○です。 LLMは提供されたテストベースや要件、コードなどを読み取り、 それらの意味を理解してテスト設計などの高度な判断を支援する役割を担います。 続いて4問目です。 LLMテストインフラのバックエンドで使用されるベクトルデータベースの主な目的は、 構造化されたテストケースを従来のリレーショナル形式で保存することである。○か×か。 これはちょっと問題として成り立ってないですね。これは×ですね。 ベクトルデータベースは、埋め込みを利用してコンテンツの意味的な類似性に基づいた検索を行うために特化しています。 これは明日じゃない、次回の放送も先取りな感じもしますが。 最後5問目です。 バックエンドにおけるポストプロセッシング・後処理の役割は、 LLMが生成した生の出力を提示前にテストプロセスのテスト条件に適合させることである。○か×か。 正解は○です。 LLMの回答が組織の基準や特定のテスト環境の制約に合致しているかを確認し、 必要に応じて調整を行うことで信頼性を確保します。 ということで5問でした。いかがでしたでしょうか。 # 今日のほっこり話💰 今日の誇り話です。 なんとかペイの話をします。 なんとかペイって言ってるのは 区、市区町村というか区のなんとかペイあるじゃないですか。 なんかね、この間ある日、指輪が届いて で、なんか1人1万円分のポイント贈呈しますみたいなのが書いてあって えーみたいな。 うち世帯は2人なんで、2万円分のなんとかペイのポイントがね 急に来ましてびっくりしてます。 なんかまあどうやらですね、物価高騰っていうところと あと地域経済の活性化の支援ということでですね えー全員に、区に住んでいる方全員にですね 1人当たり1万円分のポイントが付与されるということで おいしいご飯でも食べに行こうかななんて話をしております。 以上、今日の誇り話でした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 明日の放送は、佐さんとの対談のアーカイブをお届けする予定です。 3月はゲリラ生放送を何回かやろうと思っておりまして、3回かな予定しているのは。 あなたにとってソフトウェアテストって何なの?みたいな対談をしようと思っておりますので、楽しみにしていてください。 今回の放送が役に立ったという方は、是非ハートマークで応援をよろしくお願いします。 またですね、3月のイベント情報は放送の概要欄に入れておりますので、テストの話が聞きたい、教えの話がしたいという方は放送の概要欄をご確認ください。 それではまた明日お会いしましょう。ごきげんよう。