# アウトプットの形・判断ロジックを明確に伝える こんばんは。まなびのデバッグログのんちゃんです。 私が日々奮闘する中で見つけたまなびや気づきを 内省しながら皆さんとシェアしていきます。 今日はテスト分析での私のAI活用についてお話しします。 先日自分用のテスト分析のフォーマットみたいなものを作りました。 その観点をAIにも同じ項目を出力させられたらいいなと思ったのが 今回の取り組みのきっかけになります。 今回はあくまでレビューとしてAIを使おうと思っています。 一から使ってもいいんですけど、そうするとAIの出したものに 私の思考が引っ張られちゃうなと思ったので まずは人間の私がテスト分析をして AIはあくまで補助的にレビューとして使おうかなと思っています。 次に具体的にやったことを話していきます。 分析項目、もともと作っていたものが5項目あったんですけど そのうち3つはAIで出力できそうだなと思いました。 1つ目はリスク観点でテスト目的を出してもらう。 2つ目は画面単位でテスト対象のチェックをする。 3つ目はプロダクト特有のテスト観点出しです。 テスト全体の分析を始めるのって実装前になるので インプットは使用書、デザイン、画面一覧、 プロダクト特有のテスト観点の一覧をインプットとして与えました。 どうやったら一番いいプロンプトができるかなと考えたら 私がプロンプトを考えるよりも プロンプトを考えるのもAIにやってもらった方が 精度の高い出力が出るかなと思ったので どんなプロンプトだったら最高のパフォーマンスを発揮できますか っていうのをAIに聞いて もっとこういう情報が欲しいなどがあれば 私に質問してください、一緒に作っていきましょう っていう風にプロンプト自体を考えてもらいました。 出てきたものに対してディスカッションをして 欲しい感じのアウトプットが欲しい形式で出るように 対話を重ねていきました。 実行の結果です。 ちょうど始まった案件があったので 早速使ってみました。 結果、結構いいアウトプットが出たなぁと思ってます。 使用したモデルは Devin、Gemini 2.5 Pro、Cloud Sonnet 4.5を使ったんですけど 一番私が欲しい形でアウトプットを出してくれたのは Cloud Sonnet 4.5でした。 このアウトプットだったら 自分が作ったものとレビューをするっていう役割で すごく機能しそうだなという風に思いました。 Geminiは忘れるのが苦手だなという風に感じました。 サンプルを出力させるのに過去の案件を読ませてたんですけど ここまでのことは忘れて 新しいフォーマットとして作りたいですっていう指示を出しても それを忘れるのが結構苦手で 一から作り直したりとか ちょっと使いにくいところがありました。 Devinはコードベースの分析はすごく得意だなと 普段から思ってるんですけど これから実装するテスト分析では 欲しい形でアウトプットは全然出ないなという印象でした。 なのでここからはアクロードの話をしていきます。 最初に3つアウトプットとして 出そうと思っているという話をしました。 改めてリスクという観点でテスト目的を出す 画面単位でテスト対象をチェックする テスト観点を出すの3つです。 まず1つ目のリスク観点での テスト目的を出してもらうのは 指示した形で欲しいアウトプットがしっかり出ていました。 指示したのはビジネス的な視点と システム的な視点で 高・中・低の3段階でテスト目的を出してください というふうに指示を出したんですけど アウトプットの内容を見ても これは自分で思いつかなかったなという さらに議論した方が良さそうなこともいろいろ出てきたので リビューとしてとても機能したなというふうに感じました。 画面単位での対象チェックも同じように 欲しい形でアウトプットが出たのと 最初からレビューがしやすいような形式で出力をさせたので 私がもともと自分でつけたものと クロートで出させたものとの 差分を簡単に見つけることができたので レビューの時間も結構短縮できたなと思います。 3つ目の観点出しについても 機能要件・非機能要件・プロダクト特有の観点で出してくれて それをどんなふうにテストに入れたらいいのか というようなアドバイスも含まれていたので とても良かったです。 ただ私のアウトプットの形の指定が悪くて レビューしやすい形になっていなかったので ここはプロンプトを変えてみようかなと思っています。 やってみて分かったこととしては 出して欲しいことは結構細かく伝えた方がいいなということです。 テスト分析にAIを使うというのは結構前から挑戦していたんですけど いまいち欲しい形のアウトプットは出ないなと思っていたんですが イベントに行ったり知見のあるQAエンジニアの方に質問をしたりする中で 結構細かくアウトプットの指示を出しているというのを聞いて 実際に取り入れてみたら精度が上がりました。 例えばこのプロダクトのコアバリューはこれなので こういう画面だったりこういう機能は最重要で考えてください という指定をしたりとか 収益構造を細かく伝えてあげて ビジネス的な観点からテスト目的を出しやすく伝えてあげたりとかしました。 あとはコツとしてチェックをつけるような作業を指示するときは 判定ロジックを明確に伝えるようにしました。 例えばまずは新機能部分にチェックを入れてください その後既存の実装部分にチェックを入れてください みたいな感じで流れも伝えてあげると ロジックに従って正しく判断がされるようになりました。 試行錯誤しながらプロンプトのフォーマットは一旦できたので 次はもっといろんな人が使えるように仕組み化していきたいなと思ってます。 皆さんもテストでどんな風にAIを活用しているか教えてほしいです。 ではお聞きいただきありがとうございました。 このチャンネルは週2回更新予定です。 フォローやコメントお待ちしてます。 それではおやすみなさい。