# タイトルコール テスティングジャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索するをコンセプトに、 エンジニアリングマネージャー兼経営リーダーのサミーが、 ソフトウェアテストのコツや品質保証の奥深さ、そして日々考えていることをお話しします。 # 📣3月の登壇情報 本編の前に少しだけ3月の登壇情報についてお知らせをさせてください。 3月はですね、登壇というかイベント3つありまして、 3月11日、水曜日の夜は都内で英語のLTにで登壇をします。 マジックポットとかかけるAIみたいな感じでティップスをお話ししようかなと思っております。 英語なのでドキドキしております。 2つ目が3月20日金曜日祝日になります。 こちらはですね、JUST26東京が開催されます。 運営のお手伝いもしているんですけれど、1つ企画セッションを行います。 テストマネジメントについてですね、シラバスではこういうことを書かれているよ、 エキスパートレベルのテストマネジメントのシラバスにはこういうことを書かれているけど、 実践だとこうだよねという形でパネルディスカッションですね、 翻訳メンバーでパネルディスカッションをする予定です。 そして最後3つ目がオフ会ですね。 3月28日か29日の土日のどっちかでオフ会を企画しております。 今回のテーマは、自分で発信をするときにネタをどう探したらいいのか、 みたいな形で今検討を進めておりますので、ご報告お待ちください。 # 2.3.1 Metrics for Evaluating the Results of Generative AI こんにちは、さみぃです。 今日もテストしていますが、今回はISTQBのシェアバスを読んでいきます。 勉強していきましょう。 最近放送でずっと読んでいるのが、ISTQBの Testing with Generative AIというシェアバスになります。 今回使うのが、2.3と2.3.1、メインは2.3.1の方のMetrics for Evaluating the Result of Generative AIの2.3.1を見ていきます。 2.3が前提としてどんな章かというと、タイトルが Evaluate Generative AI Result and Refine Prompts for Software Testing Tasks なので、 評価ですね、Generative AIが出した結果の評価とプロンプトを 再定義していくみたいなところを直していくという話の中で、 2.3.1のメトリックスですね、テストタスクにおける 生成AIの結果を評価するためのメトリックスについて書かれております。 ここで紹介されているメトリックスは、 1、2、3、4、5、6、7個ありますね。 このチャプターに1個画像を貼っております。 何かというと、この7個の指標、メトリックスと 説明トレイなんですけど、この画像自体はですね、最近あれです。 ノートブックエレムがスライドを生成できるようになったので、 その1枚を貼り付けております。 はい、ということで本編戻ってきまして、 2.3.1に書かれている7個のメトリックスですね。 Generative AIの結果を評価するためのメトリックスというものを、 名前と説明と具体例というのがシラバスにも書かれているので、 読んでいきます。 まず1つ目が正確性、Accuracyになります。 正確性何かというと、専門家が作成したテストケース、 要件、またはその他の標準に対して、 生成された出力の全体的な正しさを測定します。 具体的には、例えばですね、生成されたテストケースが、 指定された全ての要件をどの程度カバーしているか、 というところが正確性のポイントになっています。 2つ目が適合率、Precision、Preciseの愛ですね。 イメージというかPrecisionですね。 適合率というのは、特定の目的に対して、 生成された出力の正しさを評価します。 ここで書いてある正しさというのは、 英語を見てみるとCorrectnessになりますね。 具体的にどういう例があるかというと、 生成されたテストケースが異常を、 エジケースとかですね、 どの程度正確に特定しているかです。 続いて3つ目が再現率、Recall。 再現率というのは、データセット内の全ての関連する インスタンスを特定するモデルの能力を測定します。 例えば、生成されたテストケースが、 データクラスの有効及び無効な動地分割を どの程度カバーしているか。 ここまで3つ紹介してきたんですけど、 わからん、わからん。 言葉難しいですね。 ノートブックLMベースの資料を見ながら 補足をしていこうと思います。 ここまで話してきた正確性とアクラシーと 適合率、Precisionと再現率、Recallの関係性かな。 どれもどのくらい品質を正しく、 正しくなのかな。 どのくらいカバーできているかというようなのが ちょっと似てたりするんですけれど、 違いですね。 正確性、アクラシーについては、 全体的な正しさ、正解率というふうに ノートブックLMは書いていて、 どういうことかというと、要件、PRGとか要件書と 照らし合わせて間違ってないかという 全体的な正しさをアクラシー、正確性と言っていて、 一方で、この適合率、Precisionについては、 精度、ノイズが少ないとか、 誤検知をしていないというところの、 精度としての正しさというところを 適合率、Precisionで表しているというところですね。 検出された不具合は本当に不具合なのかどうか、 ノイズの少なさというのは すごく分かりやすいなと思います。 3つ目の再現率、Recallは、 検出されるべき条件をちゃんと広めているか、 同地分割というワードが出てきて、 これがイメージしやすいかなと思うんですけど、 何か条件、よくあるのが、6歳以下だと無料で、 7歳以上だと入場料が300円で、 そういう条件というのはよくありますよね。 プログラムの中でも、岐阜分岐で分かれている条件とか いろいろあると思うんですけれど、 この条件を大網羅しているかどうかというところは、 再現率、Recallというふうに書いてますね。 ちょっとこのRecallの和訳として、 再現率という言葉がいいかは全然自信ないですね。 日本語の方は、ノートブックLMが作った日本語なので、 用語として本当に、 専門用語として正しい和訳になっているかは 自信ないです、今回については。 英語メインでしゃべっていこうかな。 そうですね、Recallだから、 確かに再現は再現なんだけど、 ここでのニュアンスとしては、漏らせとか、 漏れがないかというところのニュアンスになってきます。 では、Metricsの4つ目に入っていきます。 4つ目がRelievance and Contextual Fitということで、 関連性及び文脈、コンテキストへの適合性という形、 意味になってきますかね。 このRelievance and Contextual Fitというのは、 生成された出力が与えられた文脈のテキストに対して、 適用可能かつ適切であるかどうかを判断します。 具体的には、生成されたテストケースが テストベースとどの程度一致し、 ドメイン固有の要件をどの程度統合しているかです。 続いて、5個目。 Diversity、多様性ですね。 Diversityというのは、繰り返しの回避を確実にし、 広範囲の入力とシナリオがカバーされていることを 確実にします。 具体的には、生成されたテストケースが、 様々なユーザーの行動をどの程度カバーし、 エッジケースをどの程度探索しているか。 そして、6個目がExecution Success Rate、実行成功率です。 Execution Success Rateとは、正常に実行できる、 生成されたテストケース又はテストスクリプトの割合を測定します。 具体的には、正常に動作しているテスト環境において、 生成されたテストスクリプトのうち、 公文エラーや出力形式の問題なしに実行できるものが いくつかあるかを判断します。 そして最後の7個目がTime Efficiency、時間効率ですね。 このTime Efficiencyというのは、 手動のテスト作業と比較して、 節約された時間を評価します。 具体的には、AIがテストケースを生成するのに必要な時間と、 人間が同等のテストを手動で作成するのに かかる時間の比較ということですね。 最後の時間効率、Time Efficiencyは分かりやすいと思います。 そのくらい生成AIを活用したことによって、 テストを作成する、生成する時間が 効率よくなったかというところですよね。 そうね、ダイバーシティも分かりやすいですよね。 シナリオとかユーザーの行動という網羅性を担保しているか、 エッジケースを担保しているか、 探索しているかということだったりとか、 実行成功率についても、Execution Success Rateというところも分かりやすいですよね。 生成AIが作ったテストというものが、テストスクリプトが コーブエラーとかで落ちちゃったら、 ダメだよね、ダメだよねというか、 どのくらいの確率で成功するかなというところですね。 ちょっと分かりづらそうだったのが、 4つ目に紹介をしたRelevance and Contextual Fitですかね。 そうですね、Relevance and Contextual Fitというのが、 文脈に対して、コンテキストに対してどのくらいフィットしているか、 関連性を持っているかというところなので、 ドメイン固有の要件をどのくらい統合しているか。 例えば、VoicyだったらVoicyのプロダクトだったり、 音声の聞くみたいなところなんですかね。 音声データを扱っているとか、 そういうドメイン固有の要件というものをちゃんと考慮して、 文脈を理解して生成しているかなというところが、 Relevance and Contextual Fitかなというふうに解釈しております。 最後、この表の後にシロバス文章が1段なんかあるので、 そこを読んでいこうと思います。 これらの一般的なメトリックスに加えて、 生成AIが特定のテスト活動をどの程度適切にサポートしているかを評価するために、 タスク固有のメトリックスを調整することができます。 これらのメトリックスを効果的に評価するために、 テスターは手動レビューを行ったり、 例えば、LLMの出力を事前定義されたリファレンスと比較することによって、 自動化したりする場合があります。 生成AIの非決定的な性質を考慮すると、 メトリックスは統計的に関連性のあるデータに基づく必要があります。 # 今日のほっこり話⛄️ 今日はほっこり話です。雪の話をします。 雪降りましたね。土曜日の夜も降ってましたけど。 日曜日、朝起きてカーテンシャーッと開けたら、 めっちゃ雪、めっちゃというか、都心にしては雪が積もってて、めっちゃ笑いました。 その雪の中で、夫は朝ランニングに行ってまして、 いつもより帰ってくるの遅いなと思って待ってたんですけど、 帰ってきたら、夫のネックウォームの上と前髪のところに雪が積もってて、めっちゃ笑いました。 写真撮ったんですけど、さすがにVoicyにあげるのはかわいそうかなと思うので、やめときます。 以上、今日のほっこり話でした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 明日の放送ではJILLAのTipsについてお話をしていく予定です。 最近ですね、JILLA上でFigmaを直接参照できるようになって、あれがめちゃくちゃいいなと思ったので紹介していこうと思います。 今回の放送が役に立ったよという方は、是非ハートマークでいいねを押してください。 またコメントもどしどしお待ちしております。 分かったこと、分かったこと、そして分からなかったことはですね、是非言葉にしてコメントにしていただきますと、私へのフィードバックにもなりますし、 ご自身の理解の進化というか深まる方にもつながりますし、 そして他に聞いてくださっているリスナーさんの方への学びにもなりますので、是非積極的にコメントをしていきましょう。 それではまた明日お会いしましょう。ごきげんよう。