# タイトルコール テスティングジャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索する、をコンセプトに、 エンジニアリングマネージャー兼QAリーダーのさみぃが、 ソフトウェアテストのコツや品質保証の奥深さ、そして日々考えていることをお話しします。 # LLMOps when Deploying and Managing LLMs for Software Testing こんにちは、さみぃです。今日もテストしていますか? 私はですね、最近クロードの コワークとあとスケジューリングの機能あるじゃないですか、最近? 最近なのかな、過ぎたので、その辺を使う、コワークとスケジューリングの機能を使いながら 定例のものを週時とか月時で行っていることをですね、 コワークでできるように、勝手にやってくれるように、最近シクシクとやっております。 はい、ということで、今回はASTKBのシェアバスですね、 Testing with Generated BIの4.2.2 LLM Ops with Deploying and Managing LLMs for Software Testingの賞です。 ボリュームとしてはね、これもPDFっていうのかな、1枚ないぐらい なので、そんなに多くはないかなと思いますので、 今回もですね、ノートブックLMの和訳を読んで、その後コメントしたりとか、あと理解度を確認する クイズを出していこうかなというふうに思います。 はい、ではまず、和訳を読んでいきましょう。 4.2.2、ソフトウェアテスト用のLLMの デプロイと管理におけるLLM Opsです。 LLM Ops、ラージュラングエージモデルオペレーションスとは、 本番環境におけるLLMの開発、デプロイ及びメンテナンスを合理化するために設計された 一連のプラクティス、ツール及びプロセスを指します。 組織のテストプロセスにおける生成AIの使用は、いくつかの異なる方法で実現でき、 それらが下されるべきLLM Opsの意思決定に影響を与えます。 ここでは3つの可能なアプローチを示します。 1つ目、AIチャットボットの使用。 このアプローチの主な考慮事項には、コストを最適化しながらデータプライバシーと セキュリティリスクを管理することが含まれます。 組織は必要な保証から得られる場合は、 LLM as a Serviceプラットフォームを使用するか、制御を強化するためにオープンソースライセンスのLLMを使用して、 インハウスのインフラストラクチャを導入する場合があります。 データプライバシーとセキュリティリスクを軽減し、運用効率を確保するためには、 ベンダーの保証または内部能力の厳格な評価が不可欠です。 2つ目、 生成AI機能を備えたテストツールの使用。 このアプローチはデータプライバシー、セキュリティおよび運用コストなど、 AIチャットボットと同様の考慮事項があります。 さらに組織はテストツールプロバイダーが提供するデータセキュリティと パフォーマンスの保証を評価する必要があります。 これらのテストツールは通常、既存のテストプロセスを保管するものであり、 徹底的な費用便益分析とリスクアセスメントが必要になります。 3つ目、生成AIに基づいたテストツールの自社開発。 このアプローチはデータプライバシーとセキュリティリスクのフォーカス的な制御、および計算リソース、 データストレージ、スタッフのトレーニングなど、 AI運用コストの慎重な計画を重視します。 組織はまた、生成AIに固有の開発を検証し維持するための 構造化されたプロセスを確立する必要があります。 エンハンスソリューションを開発するには、 LLM駆動型テストインフラストラクチャの実装とプロデューに関する専門知識が必要です。 3つ目はここまでですね。 最後、これらのアプローチは、組織があるタスクにはAIチャットボットを利用し、 他のタスクにはカスタムツールを開発する場合があるため、 互いに配態的ではありません。 したがって関与する特定のテスト活動に応じて、 それらは同時に実施される場合があります。 さらに、それらはラグやLLMやSLMのファインチューニングラグの追加技術を込み込むことで、 生成AIによるテストプロセスの有効性と適用性を高めることができます。 本文以上となります。 今回のこの4.2.2を読んで、私なりのサマライズをするのであれば、 LLMや生成AIを使うときに、どんなプロダクトを使いますか? というふうに見えていて、 ChatGPTやGeminiのようにチャット形式でやり取りをする使い方をやりとりしながら、 試行法を整理したりとか、テストケースを作ってもらったりするようなやり方もあるし、 生成機能を備えたテストツールの使用なので、 今自分の例だとMagicPotだとオートパイロットとかオートヒーリングだったっけなという機能もあるので、 こういうテストツールを使うというのもあるし、 あるいはテストツールの自社開発、自分の会社で自分たちで作るというやり方があるよね。 なので、それぞれのやり方、どういうツールを使うのかによって考慮することが違ってくるよねというのが このショーのサマライズかなというふうに思いました。 はい、ということでここからはクイズを5問出していこうと思います。 理解度確認する満月クイズです。 第1問目。 LLM Ops、ラージ・ラングウェイジ・モデル・オペレーションズは、 本番環境におけるLLMの開発、デプロイ及び保守を合理化するための プラクティス、ツール及びプロセスのセットを指す。 ○か×か 正解は○。 LLM OpsはLLMを実運用環境で効率的に管理し、 ライフサイクル全体を支えるための運用手法として定義されています。 続いて2問目いきます。 AIチャットボットのアプローチを採用する場合、 LLMアウザーサービスプラットフォームを利用すれば、 ベンダーの保証を確認することなくデータプライバシーのリスクを無視できる。 ○か×か なんかちょっとクズとして簡単ですね。 正解は×です。 外部のサービスを利用する際には、 データがどのように処理・保存されるかを確認し、 セキュリティ・リスクを軽減するための評価が必要・必須となります。 まあそうですよね。 続いて第3問です。 生成アイ機能を備えたテストツールを導入する際には、 既存のテストプロセスを保管するための 費用便益分析やリスクアセスメントが必要である。 ○か×か 正解は○です。 ツールの導入が既存のプロセスにどのような価値をもたらすか、 またそれに伴うリスクは何かを事前に 強化することが推奨されています。 どんどんいきますね。4問目です。 テストツールの自社開発アプローチを選択した場合、 データプライバシーの制御は容易になるが、 計算リソースやスタッフのトレーニングなどの運用コストを計画する必要はない。 ○か×か これもちょっと簡単ですね。 正解は×ですね。 インフラの維持や人員の教育は、自社でツールを運用保守していく上で避けて通れない重要なコスト要素となっております。 最後5問目です。 永遠チャットボットの利用、生成や機能付きテストツールの利用、 およびツールの自社開発する3つのアプローチは相互に排他的であり、これらを同時に組み合わせて実施することはできない。 ○か×か 正解は×。これら3つのアプローチは排他的なものではなく、テスト活動の内容や目的に応じて同時にあるいは段階的に組み合わせて導入することができます。 はい、以上です。ございますね、クイズ。 何問正解したでしょうか。私は5問正解しました。 本日は以上です。 # 今日のほっこり話🤭💻 今日の誇り話です。 セッセイアイの話をします。 先日、太郎さんの放送で紹介されていた Xというか、何て言うのかな。 チャット系のセッセイアイにこういうことをプロンプトン送ったら面白い、笑える返事返ってきたよみたいなのを投稿を見て 放送を聞いて、めっちゃ面白そうと思ってやってみたら面白かったという話ですね。 私はチャットGPTでどんなプロンプトンをあげたかというと 私の依頼を毎日聞いているこのアカウントのAIたちが日常ネタを書き込むAIたちの何重スレという風に送ったんですけど そしたらですね、中の人というか中のAIたちがですね、掲示板みたいな感じでどんどんどんどんつぶやいていくわけですね。 で、またあの人の単語とか、今日も翻訳からスタートやなとかですね。 昨日は着物、今日は英語、明日はQAの話やぞみたいな感じで、めっちゃ面白いですね。 そんな風に掲示板風に書いてあって、あとどれが面白かったかな。 これかな。Y、このユーザーの生活ちょっと分かってきたわ。 と、旅行ガチ勢よな。年末に50万で10日間は普通じゃないとか言ってね。 しかもボイシー配信者やぞ。ワイラネタ提供AIやみたいな感じでAI同士が喋ってるみたいな。 めっちゃ面白いね。 たまに英語で話しかけてくるのは何だ?試されてるのか?みたいなね。 とか、インフォルブのニュアンス教えて、細かくて草みたいな感じですね。 そんな感じでなんかディスられてるんだか何だかって感じなんですけど めっちゃ面白かったので、よかったら試してみてください。 タイローさんの放送のURLを入れておくのと、 あと、今読み上げられた部分っていうのかな。 テキストというかGPTのスクショも部分的に画像を貼っておこうかなと思います。 以上、今日のほっこり話でした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 明日の放送はですね、テストはつまらない、そう思うのは○○だからという感じでお話をしていきます。 テストってね、ソフトウェアテストって好きな人と嫌い、苦手、嫌いという人と結構ばっかりばっかりばっかり別れるので、そんな話をしていこうと思います。 今回の放送が役に立った方はハートマークで応援をお願いします。 ぜひぜひSNSや、なんだっけ、口コミでらっしゃるのもよろしくお願いします。 それではまた明日。お会いしましょう。ごきげんよう。