# タイトルコール テスティングジャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索する、をコンセプトに、 エンジニアリングマネージャー兼QAリーダーのサミーが、 ソフトウェアテストのコツや品質保証の奥深さ、そして日々考えていることをお話しします。 # 2.2.4 Test Monitoring and Test Control with Generative AI こんにちは、さみぃです。 今日も楽しんでいますか? 今回はですね、ICTBのシラバスを読んでいきます。 あれですね、テスティングウィズジェネレティブAIで、 今回取り扱うのは2.2.4 テストモニタリング&テストコントロール ウィズジェネレティブAIということで、 テストモニタリングとテストコントロール、 そのままですね、モニタリングとコントロールの部分になります。 シラバスの内容としては、ボリュームはPDFの1枚分なので、 割と少ないでしょうかなと思っていますので、 最初に翻訳した内容をワート共有、 まずシラバスにどういうことが書かれているのかの話をして、 その後、読んで考えたことだったりとかを、 私の考えもお話ししていきます。 はい、では、まず翻訳からいきますね。 2.2.4、生成AIを用いたテストモニタリングとテストコントロール テストモニタリングのタスクは、大量の、 時には非構造化されたデータの取得を必要としますが、 それらは多くの場合、テスト管理ツールで既に利用可能であり、 生成AIはそれらの分析や統合を支援することができます。 生成AIは、以下を含む多くのテストモニタリング、 及びテストコントロールのタスクを容易にします。 で、以下の4つあるんですけれど、 1つ目、テストモニタリングとメドリックス分析 生成AIは、テストモニタリングの自動化を促進するだけでなく、 潜在的なリスクを予測するためのトレンド分析や、 計画からの逸脱をチームに警告することを支援します。 これにより、チームは既に情報を把握し、 品質基準を維持するための行動を取ることが可能になります。 2つ目、テストコントロール 生成AIは、テストの最優先順位付け、テストスケジュールの調整、 及び必要に応じたリソースの再割り当てに関する インサイトを提供することで、テストコントロールを支援します。 これにより、テストの柔軟性を維持し、 優先度の高い領域に注力し続けることが保障されます。 3つ目、テスト完了のインサイトと継続的な学習 生成AIは、テスト完了レポートを生成し、 成功事例や教訓を強調することで支援できます。 これにより、テストはチーム戦略を洗練させ、 将来のテストプロセスを改善することができます。 最後4つ目、強化されたテストメトリクスの可視化とレポート 生成AIは、動的なタッシュボードや 自然言語による要約の作成を支援し、 すべてのStakeホルダーが関連する メトリクスにアクセスできるようにします。 この支援により、迅速な意思決定に必要な情報が提供され、 テストの進捗状況を明確に把握できるようになります。 以上が2.2.4の今回のチラバスの内容になります。 続いてここから考えたことをお話ししていくんですけど、 そもそもテストモニタリングって何でしたっけという話ですよね。 ここの整理をしたいと思うんですけど、 テストモニタリングっていうのは、テスト実行とかだけではなくて、 すべてのフェーズ、テスト活動を、 モニタリングを継続的にチェックをして、 例えば実際の進捗状況から遅れてないかなみたいなところ、 テスト計画と実際実績を比較する活動をさせています。 具体的にはテスト結果で○×OKとNGとかついていきますよね。 ○×OKとNGとテスト計画に書かれている内容というか、 この計画でテストを進捗させていきますっていうものを比較をして、 どこがずれてますよとかっていうのを識別してくれたりだったりとか、 あとは新しいテストが必要になる場合ってありますよね。 一回例えばテストケースを1000個とかバッて作った後でも、 アンケートが進捗していく中で新しいリスクが出てきたので、 リスク分析をしてまたテストを追加したりとか、 あるいは新しいリスクが見えてきたことによって、 この順番でテストをやろうと思っていたんだけれども、 優先順位が変わったりとかしますよね。 なのでそういうことをちゃんとやってますよねみたいなところが、 新しいリスクに対しての対応ができていますよねっていうところのモニタリングも含まれます。 テストモニタリングとして含まれてきます。 先生の話に戻ってくるんですけれど、 このシラバスルでも言っているとおり、 テスト管理ツール、いわゆる一般的なというか、 販売されているテスト管理ツールとかだと、 既に計画はこうでとか、優先順位付けはこうでっていうのは、 自分である程度してインプットすればいいというか、 ポチポチ入力をすれば指定ができて、 その順番に合わせて実行するとか、 今実行中のテストの進捗ですね、 今後のテストは全体で、 例えば500件あって、 今日の時点では何パーセント進捗してますとか、 そうするとあと残りどのくらい、何日くらい必要かとか、 何時間くらい必要かっていうとこを出してくれるっていうのは、 既にあるんですよね。 多分ちょっと記憶が曖昧ですけど、 テストリールとかはそれに近しいようなテストレポート機能とかはあったので、 一部モニタリングをしてくれる機能っていうのは既にあったりするんですよね。 そんな中でAIがどう使えるのか、 活用できそうなのかみたいなところで、 シラバスの中ではトレンド分析、 リスクを予測するためのトレンド分析だったり、 計画からの連絡をチームに警告してくれたりっていうところもありつつ、 大量にあるデータを見て分析してくれるとか、 こういうことが言えますねとか、 を提案してくれるのが一個いいなって思うポイントですよね。 これまでだとデータを集めるのも大変だったし、 そのまま集めたデータというか、 どれを選ぶから、 指標をこれって選ぶから、 じゃあこういうデータが必要だよねっていうところを決めて、 その必要なデータを書き集めて、 集めたデータからを分析する。 で、どういうことが言えるのかとか、 自分が当初に描いていた調べたいこと、 指標が計測できるのかみたいところをチェックしていくっていう活動が必要なんですけれど、 ここの、 どうなんだろうな、 テストを、 違う違う違う、 データを書き集めるところももしかしたらやってもらえるかもしれないし、 あるいは分類してない大量のデータをポンって渡して、 渡してそこからこういうことを確認したりとか、 逆にどういう提案をしてくれるかというか、 テストが順々に進んでいるかをチェックしたいんですけれど、 どういう観点で分析したらいいですかとか、 あるいはトレンドを分析してくださいみたいなことを言うと、 一定何かは提案してくれそうだなというイメージは持ってたりするので、 数字を集める手間っていうのは結構減るのではなかろうかという期待をしているんですよね。 なので今後は数字を集める、データを集めるよりかは、 その数字を見るとか、 どういう数字を集めたらいいのかを判断できるようになるっていうことが必要になってくるのかなという感じがしました。 もう一つのキーワードがテストコントロールですよね。 テストコントロールっていうのは、計画がちゃんと達成できるように、 テストの目的が達成できるように道筋を整えて、 軌道を修正してコントロールしていくってことなんですけれど、 先ほどのテストモニタリングと比較すると分かりやすくて、 テストモニタリングは計画の通りに進んでいるか、何か遅れてないかとか、問題が起きていないかとか、 他に必要なことがないかというところを監視するのがモニタリングですね。 監視した結果、ここが計画とずれてますっていうのが見えてくるので、 その課題を解決したりとか、救済措置を行ったりとか、 次こうしましょうっていうふうに決めて行動していくのがテストコントロールになります。 CCIの話に戻ってくると、テストモニタリングでこの辺ずれてますよ、 例えばテストの実行の進捗が計画よりも遅れてますよというふうになったとして、 モニタリングがアラートを出して、それに対してテストコントロール側のテストコントロールAIのほうは、 テストの優先順位付けをしたら良いと思いますとか、 テストスケジュールを調整しましょうとか、 あと人を再割り当てしましょうみたいなことをいくつか提供してくれたりとか、 もしかしたらもうちょっとテストの再優先順位付けをこういうふうにやってみましたという感じで提供してくれるかもしれないなと思いますね。 一方で優先順位付けっていうのは判断基準があったりするので、 判断基準が合っているかのチェックは絶対自分でやらなきゃいけないし、 あるいは判断基準を私自分のほうから提案してその基準に沿って再度テストケースの優先順位付けをしてもらうという、 そんなやり方はあるかなということを考えました。 ということで今回は2.2.4テストモニタリングとテストコントロールについてお話をしていきました。 # #402のコメント返し🥰 コメント貸しのコーナーです。今回は402話目、 私はなぜここにいるのかやりたいことが見つかる世界の果てのカフェのコメントをお返しします。 コメントはりゅうちさんからいただいております。ありがとうございます。 人と人をつなげる良いですね。私は美味しいラーメン屋と人をつなげていきます。ということで、 りゅうちさんはめちゃくちゃこうラーメンが大好きな方でして、なんかほぼ前放送で、りゅうちさんのあの放送でもラーメンの話とか、 麺にかつ、麺にまつわるお話だったり、なんかいろいろお話しされてたりとか、コメント返しでリスナーさんがお話しされているのを聞いていて、 すごく楽しいなぁと思いながら、私も聞いております。 あと今日ですね、りゅうちさんのチャンネルにお邪魔して、 キャッシュレスの話と言いますか、海外でクレジットカードを取られてしまったという話を今晩しますので、 対談もとても楽しみにしております。 以上コメント返しでした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 明日の放送は学びたくない日もあるよねという話をしていきます。 今回の放送を聞いてよかったなと思ってくださいましたら、 ぜひハートマークでいいねを押していただけるととても励みになります。 ぜひぜひフォローもよろしくお願いします。 またですね、今晩1月26日月曜夜9時からは、 りゅういちさんのチャンネルでゲスト登壇をさせていただきます。 海外旅行でクレジットカード取られてしまったよという話と、 どうしたら良かったんだっけ、どうしたら良いのかという話をしていきます。 ぜひライブで聞きにいらしてください。 それではまた明日お会いしましょう。ごきげんよう。