# タイトルコール ようこそ、世界が広がるソフトウェア品質へ。 このチャンネルでは、エンジニアリングマネージャー兼QAリーダーのサミーが、 ソフトウェアテストやソフトウェアの品質保証を中心に 日々奮闘していることや考えていることをお話しします。 毎日お昼の12時30分に配信しています。 ゲストの方やリスナーのあなたと、テストや品質の世界を広げていきます。 # MagicPodのAIアサーションで音声が再生されているかを確認してみた こんにちは、さみぃです。今日もテストしてますか? 今回ですね、最近リリースされましたMagicBotのAIアサーション機能を使ってみたので、その話をしていきます。 今回の放送の流れとしては、最初に超ざっくり、私の理解ではありますけれど、 MagicBotのそのAIアサーション機能とはどんなものかっていうのを簡単にご説明した後、 実際に自分でやってみた内容とか、思ったこととかをお話ししていこうと思います。 ということで、まずMagicBotのAIアサーションの機能なんですけれど、今PRタイムズの記事を見ながらお話をしています。 JSAIによるテスト結果の確認機能、AIアサーションということで、 これまで人間が目視で確認していたような内容を、よしなにアサーションしてくれるよということなんですよね。 特徴なのは、自然言語で何を確認したいか、どのような結果を期待するのかっていうものをMagicBotのテストケースに記述すると書くと、 そうすると、生成AI側のほうで、こういうことを確認したら、確認してOKだったのでOKでした、みたいな感じでチェック、アサーションをかけてくれるということですね。 本機のブラウザーテストとモバイルアプリテストの両方のテストで利用できますよということが書いてありました。 さあですね、さっき説明はここまでなんですけれど、じゃあどういうふうに使えるかなっていうのを自分のプロダクトに当てはめて考えていたんですよ。 なので紹介文の中には、例えば地図アプリとかで検索欄に東京都中学というふうに入れていて、 アサーションのほうでは検索結果画面で中途半端に1アイコンが表示されているかっていうのをAIで確認しますよというふうに書かれてるんですけど、 地図とかは使ってないしなとか、あとデザイン崩れがないかのチェックもできますよっていうところなんですけど、 デザイン崩れもあまり言いついというか、MagicBotでやるイメージが私のプロダクトではないので、使えないしなとかっていうふうに考えていました。 そんな中でですね、どういうことが確認できたら嬉しいかなっていうところからちょっと逆算して考えてみたんですけれども、 やっぱり一番確認できたら嬉しいのは音声が再生されていることですね。 このボイシーの再生アプリのことをイメージしながら喋っているんですけれど、 これまでというか音声が再生されているかどうか、そして音が出ている、本当に音が出ているかどうかっていうのは、 MagicBotだったり、いずれの自動テストではなかなか確認が難しいというところがあって、対象から外していたんですけれども、 なので今々だと、再生ボタンを押したらその再生ボタンが一時停止ボタンに変わっているよねっていうところまでは今確認しているんですよ。 それで一旦仮に再生がされたということをアサーションかけているんですけど、ここがもう少し質が上がったらどうしたら嬉しいなというふうに思ったわけです。 なのでここからが何をやってみたかというところの話に入っていくんですけれど、 このAIアサーション機能を使って音声が再生されていることというテストを入れてみました。 アサーションを入れてみました。 実際のMagicBotのテストケースの作成の画面で、そういえばどうやってこのAIアサーション機能を使うんだろうというのはちょっと迷ったんですけど、 検索っていうのかな、このところからAIって検索をしたらですね、AIで確認というコマンドがありまして、そちらからAIアサーションを使うことができます。 AIで確認というのを選択してその後テキストボックスが出てくるので、ここに音声が再生されていることという日本語、自然言語で書いてみました。 それでテスト実行をしてみたんですけれど、どういうアサーションがされたと思いますか。 実際にAIが何を確認したかというのはテスト結果画面の中の実行ログで確認することができます。 実際に音声が再生されていることの確認として、5つのアクションをしていました。 今回はこのうち3つを紹介したいと思います。 1つ目がですね、再生ボタンの状態ということで、画面中央に再生ボタンが表示されています。 これは現在一時停止状態であることを示しています。 惜しいですよね。これが一時停止ボタンであれば再生中ということがわかるんですけれど。 これを見て再生できていると言っているんですけど、ちょっと惜しいかなという感じです。 2つ目がタイムコードの進行です。 これ私めっちゃいいなというふうに思ったんですけど、 再生をしているとこの画面のどこどこに何秒何分中の放送で今何分のところですという数字が時間表示が出るんですよね。 それが今この実行したタイミングだと10秒の位置まで再生が進んでいることがわかりますというふうに書いてあるので、 確かにここを見れば再生がされていること、再生が進んでいるということは確認できますねというふうに思っています。 これめっちゃいいなと思っています。 実は1回目にテストを回してみたときは、スクショの取られたタイミングが0秒のタイミングだったので、 これじゃ再生されているかどうかわかんないなと思って、 最初のテストをAIで確認のコマンドを入れる位置をちょっと後に回すことで、実際に10秒まで進んでいるタイミングでスクショが取られていて、 画像を分析してAIが今10秒のところまで進んでいるから再生が進んでいるということが判断できるという、そんな結果になったわけです。 もう1個3つ目が、最後3つ目がプログレスバーの位置というところで、どんどん音声が再生、放送が再生されていくとプログレスバーも進んでいくんですよね。 書いてあるのが、オレンジ色のプログレスバーが左端から少し進んだ位置にあり、コンテンツが再生されたことを示しています。 ということで確かにこのプログレスバーの位置からも音声が進んでいる、再生ボタンを押した後にプログレスバーが進んでいるということが分かるので、 そこから音声が再生されているということが確認できますという感じですね。 これらの情報から一時停止状態にはなっていますけれど、10秒進んでいるということが分かるので音声が再生されていることというAIアサーションの結果はパスしていますと。 アサーションの条件を満たしていると判断できますというふうに実行ログにも書いてあります。 ということでまとめです。今回MagicBotのAIアサーションの機能を使ってみました。 これまでなかなかe2の自動化では難しいなと思っていたところ、箇所についてAIで確認というステップを追加してみたら、 これまでよりもより高い精度でアサーションを書けるというか確認を入れることができそうだなという感覚を得ることができました。 このAIアサーションの機能とかオートパイロットについてはクレジットなので、利用しているプランに応じて使える条件が決まっていて、 それ以上使いたかったら追加で料金かかりますよということなので、そこは注意かもという感じです。 これからも新機能をお楽しみにしています。本編以上です。 # #314のコメント返し🥰 コメント返しのコーナーです。今回は314話目、我が家の家事分担は幾度の戦いを乗り越えて今の形になった、のコメントを開始します。 コメントは松さんからいただいております。いつもコメントありがとうございます。 我が家も幾度の戦い、ほぼ敗戦を経て、落ち着いた感じになっています。 お互い気になるポイントは違うから、それはいいとしても、喧嘩して溜まったものを吐き出すサイクルを別の形で解消できればいいんだけどな、なんて何度も思っては繰り返しています。 三民さん意識的に感謝をしているようなので、夫さんも報われていますよ、ということでコメントありがとうございます。 めっちゃ分かりにくいという感じですよね。 そうなんですね。たまってきたちっちゃいイライラとかモヤモヤみたいなのが、小さいタイミングで吐き出せるといいですよね。 かつそれをお互いがなるべく嫌な気持ちをしないような状態で言えると一番いいなというのは思っていて、 私が一個やっている、自分が吐き出す方でやっている工夫としては、イラッとした翌日ぐらい、ちょっと気持ち、感情が波が追えたぐらい、 イラッとしたのが落ち着いたタイミングですぐに伝えるということをやっていて、 例えばこの間ですね、夜夫がめっちゃ酔っぱらってて、夜絡んできたんですよね。 アップルウォッチじゃなくてアンドロイドのやつ。 夫がウェアラブルの時計を持ってて、めっちゃブルーライトっていうか光ってたんですよ。 光ってると眩しくて眠れないから消してみたいな話をしたんですけど、 なんか嫌がらせのように酔っぱらってたんでね、めっちゃそのブルーライトを私に浴びせてきてですね、 私はもうガチで眠いっていうのもあってイラッとしたんですよ。 その時はもうやっぱり酔っぱらいだししょうがないなと思って無視して寝たんですけど、 その夜夫がですね、なんていうのかな、有病じゃないんですけど、 無意識にリビングの方に行ってソファーで寝てたらしいんですよ。 最近寒くなってきたじゃないですか。 なので夜中私はうっすらそれに気づいてですね、 トイレに行ったっきり帰ってこないなと思って、 リビングできっと寝てるんだろうな、起こしてあげようかな。 いやでも昨晩すごい嫌な思いしたから起こすのやめたって言ってそのまま朝を迎えたわけなんですけど、 で、その朝起きて、なんで昨日起こしてくれなかったのみたいな感じで夫に言われたんですけど、 もうその時にさっきの昨日の夜のブルーライトの件がめちゃくちゃ頭に来たから起こさなかったっていう風に話をしてですね、 私がかなり、かなりというかイラッとしたんだよってことは翌日に伝えたという感じですね。 こんな感じですね、お互いが空気が良い状態の間にですね、 ちっちゃいモヤモヤとかイライラを伝えるというのが一個工夫しているポイントだったりします。 以上コメント合宿でした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 次回もちょっとAI関連でお話ししようかなと思っています。 クロードを使ってですね、スラックの過去投稿をうまく抽出して デジタルのタスクとして起票するということをやってみたので、 ちょっとそこら辺のお話をしようかなと思っております。 今回の放送を聞いて、なるほどな、確かにな、学びになったなと思った方、 そして今日も放送を聞いたよという合図でぜひいいねを押していただけると めちゃくちゃ励みになります。 それではまた明日お会いしましょう。ごきげんよう。