# タイトルコール テスティングジャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索するをコンセプトに、 エンジニアリングマネージャー兼QAリーダーのサミーが、 ソフトウェアテストのコツや品質保証の奥深さ、そして日々考えていることをお話しします。 # 2.2.3 Automated Regression Testing with Generative AI こんにちは、さみぃです。 今日も楽しんでいますか? 今回はですね、最近ずっと週1ぐらいで続けている シロバスの勉強ですね、インプットしていきましょう。 ICTKBのTesting with Generative AIのシロバスから、 今回は2.2.3 Automated Regression Testing with Generative AIということで、 自動テスト、自動のリグレッションテストでどのように 生成を活用していくかというところを勉強していきましょう。 今回はですね、進め方としては、 ノートブックエレムに和訳してもらった文章を元に、 日本語を読んでいき、考えたこととか、 自分だったらこうしてるよ、みたいなところを合間に コメントしていくスタイルで進めていきます。 2.2.3はですね、大体PDF1枚分で、半存もあるので、 1枚弱ぐらいでかなり短い章になっております。 はい、ということで読んでいきます。 インテレーションごとに増加する回帰テストの負担を軽減するため、 生成AIは回帰テストスウィートの作成・補修、 および最適化を合理化します。 コードベースの変更に動的に適応し、影響分析を行うことで、 生成AIは最近の修正によって最も影響を受けやすい ソフトウェアの領域を特定し、 リグレッションテスト、回帰テストの重点を 本当に必要な箇所に集中させることが可能になります。 以下は、生成AIのプロンプトによって支援可能な 代表的な児童課回帰テストおよびテストレポーティングの活動例です。 5個紹介されています。 1つ目、キーワード駆動児童課の実装。 予め定義されたキーワード、操作手順の抽象化を 特定のテストケースにマッピングし、 児童テストのスクリプトの作成や実装を支援します。 2つ目、インパクト分析、影響範囲分析とテストの最適化。 コードの変更箇所を分析して効率区領域を特定し、 効率的な回帰テストセットの選択と最適化を行います。 3つ目、自己修復、セルフヒーリングと適用型テスト。 UIやAPIの軽微な変更に合わせてテストスクリプトを 自動的に調整し、小さな変更によるテストの失敗を防いで、 スイートの安定性を維持します。 4つ目、自動化されたテストレポートと洞察。 成功指標や失敗の原因、将来的な失敗の予測などの洞察を含む 詳細なレポートやダッシュボードを自動生成します。 5つ目、欠陥報告の強化と根本原因分析。 テストログ、スクリーンショット、環境データを含む 包括的な欠陥報告書の作成を支援し、 問題解決のための分析を容易にします。 1回ここで切りますが、1個目のキーワード駆動自動化ってご存知ですか。 キーワード駆動テストって言われるかなと思うんですけれど、 キーワード駆動テストというのは、 特定の操作だったりビジネスプロセスをキーワードですね、 という抽象的な単位で表現をし、テストを自動化する技法です。 テスト自動化のシラバスとかには出てくるかな、 テストアナリストのシラバスに出てきたかなと思います。 特徴なんですけれど、テストの設計ですね、 何を行うかというものとテストの実装、 どのように動かすかを明確に話すことがあります。 テストケースを自己可能なプログラミングコードではなくて、 人間が理解しやすい自然言語に近いキーワード、 例えばログインとか注文取り消しなどというキーワードですね、 それに関連するテストデータの組み合わせで構成をしますので、 何がいいかというと、このキーワード駆動を採用すると、 チームの中で役割分担が可能になります。 テストアナリストとテスト自動化エンジニアで分けることができて、 テストアナリストはドメインに詳しい、相対的にですね、 ドメインに詳しいので、 ドメイン知識を生かしてキーワードを使用したテストケースを 作ったりメンテナンスすることができます。 一方でテスト自動化エンジニアというのは、 スクリプティングというかテストを書く、 テストコードを書くことがとても得意なので、 そのキーワードを具体的な動作に変換するためのスクリプトだったり、 フレームワークを実装するという形で 分担をすることができるのが、 このキーワード駆動テストの特徴になっております。 今回のシェアバスの話に戻ってくるんですけど、 キーワード駆動、自動化の実装ということで定義されたキーワードですね。 キーワードをベースにAIがテストケースのマッピングをしてくれて、 テストスクリプトを作ってくれるよう、 作成実装を作ってくれたり支援してくれるようという、 そういう活用の仕方があるようという話ですね。 2つ目がインパクトの分析とテストの最適化。 なので、コードの変更の内容を分析して、 ディスクが高いところはこの辺だよというのを見つけて、 だからリクエストテスト、回帰テストはこの辺やった方がいいですよというところを 提案してくれるという感じですね。 この辺は全然私は知見というか経験はないなというところなので、 頭ではなんとなく知識としては分かるんですけど、 ふむふむという感じですね。 続いてが自己修復と適用型テストのセルフフィーリングのところは、 たぶんMagicPotのテストの実行していると、 自己修復の機能があるので、 なんか見たことあるなというふうに思いながら読んでました。 自動化されたテストレポートと洞察というところですよね。 これも確かにできそうだなと思いつつ、まだやったことはないですね。 MagicPotのテストだとレポートは自動でというか出してくれているし、 割とこれまでのツールを使ってレポートを見ていることが多いかな。 あとは結果報告の強化と根本原因分析というところですね。 これはたまにやってるかな。 根本原因分析まではできていないんですけれど、 MagicPotのテスト結果、失敗しているものと、 あとテストログをCloudとかにインプットして、 どこが問題あるんだっけみたいなのを調査してもらったりが最近やってますね。 ではシラバスの本文に戻っていきます。 これらのアクティビティというのは、 さまざまなリグレッションテストに適用できるんだけれども、 機能テストとか非機能テストを合わせてですね。 だけどテストは必ずCCIが作ったものは間違いがあるかもしれないということを ちゃんと認識しないといけないんですよねというところなので、 アウトプットについては注意深く確認をして、 リスクもちゃんと評価しましょうねというのが書かれています。 このリスクの評価については参照でより詳しく書いてあります。 それに加えてですね、GUIおよびAPIテストへの適用についても書かれています。 2つかな、GUIテストというところで、 UIの変更に伴う不安定さを動的なロケーターの調整や 変更されたユーザーインタラクションなどのスクリプトの自動適用によって解消します。 2つ目、APIテストでは変化するリクエストレスポンス形式、 エンドポイントおよび認証形式にスクリプトを適用させ、 多様なテストデータを生成して網羅性を維持しますということで、 GUIテストとかまさにMagicBotとかそうですね。 動的なロケーターの調整みたいなところも、 MagicBotのテスト実行のときに指定した要素がなかったら代わりにこれですかみたいな感じでチェックをしていて、 テストの実行後にこういうふうに自動修復したんですけど、 これを適用しますか、承認しますか、みたいな感じで出てくるので。 生成AIを中で活用しているか分からないですけど、活用してそうな感じがしますよね。 APIテストのほうも、テストデータを生成してくれるっていうのはすごく良さそう。 あんまり私自身、APIテストを自分で書いたりツールを使ってもそうですけど、 知識ベースにはなってしまうんですけど、確かに活用できそうというイメージはなんとなくあるという感じですね。 2.2.3の内容は以上となります。 # #396のコメント返し🥰 コメント開始のコーナーです。今回は396話目、仕事は楽しんだ者勝ちのコメントをお返しします。 コメントは、みずけんさんからいただいております。 1つ目がですね、遅いコメントですみませんが、誕生日おめでとうございますということでありがとうございます。 先日1月12日が誕生日でしてですね、誕生日プレゼントには串を買っていただきました。 写真をこのチャプターに貼っております。 溶かすとですね、めっちゃ髪の毛サラサラになるのでおすすめです。 そしてもう1件、みずけんさんからコメントをいただいております。 私も仕事は楽しんだ者勝ちだと思います。よくみずけんさん楽しそうですよねと言われます。 たまに深刻な時まで楽しそうに話すことがあるようで不快に思われたこともあるくらい。 深刻になっても解決しなそうな時は周りに変な閉鎖感が出ないようにと楽しそうにすることもありますねということでありがとうございます。 素敵ですね。いいですね。そうですよね。楽しんだ者、楽しんだ者勝ちですよね。 楽しそうに話すのが自然にできるのはめちゃくちゃ羨ましいですね。 私多分結構、シビアな時はシビアな顔してるし怖い顔してるのもきっとあるんだろうなーって。 特に仕事中ですかね、思っちゃうので。 まあなんか楽しそうに話したり楽しそうに仕事してるっていうのは世に見えるっていうのはめちゃくちゃ大事なことですよね。羨ましいな。 以上、コメント返しでした。 # 次回予告 今回も最後まで聴きいただきありがとうございました。 明日の放送はVoicyの特テーマ、 仕事が早くなる集中術、 言えなかった、 集中術ということで タスクを分解して並び替えるという話をしていきます。 今回の放送を聞いてよかったなと思ったら ぜひハートマークでいいねを押してください。 どんな方がですね、放送を聞いてくださっているのか というとこのフィードバックにもなりますし 純粋に励みになります。 それではまた明日お会いしましょう。 ごきげんよう。