# タイトルコール ようこそ、世界が広がるソフトウェア品質へ。 このチャンネルでは、QNGにあなたみがソフトウェアテストやソフトウェアの品質保証を中心に、 日々奮闘していることや考えていることを話します。 毎日、お昼の12時30分に配信しています。 ゲストの方やリスナーのあなたと、テストや品質の世界を広げていきます。 # はじめに こんにちは、機能エンジニアのサミです。 今日もワクワクしていますか? 今回はですね、Voicyの特典は 気になるニュースをお話ししていきます。 伝送クリエイトさんの研究の内容をですね、 ご紹介したいと思います。 こちらはですね、発表された論文でタイトルが 生成AIを活用したソフトウェア開発プロセスの セルフアセスメントアシスタントの提案 AIプロサーです。 今回はそちらの論文を 生成AIに1000文字程度に予約をしてもらいまして、 そちらを11Labで、ボイスクローンで読ませるという感じで、 ちょっと自分的には新しい試みをやってみました。 それでは本編どうぞ。 # 生成 AI を活用したソフトウェア開発プロセスの セルフアセスメントアシスタント(AI-ProSaA)の提案 ソフトウェア開発の現場では、 セルフアセスメントと呼ばれる 自己診断型のプロセス評価が行われています。 しかし、実施する人のプロセスに関する 知識が足りないことが 課題として指摘されています。 専門家であるアセッサーによる評価は 正確で信頼できます。 ただし、時間がかかり人数も限られるため、 全てのプロジェクトに頻繁に使うのは 難しいのが現実です。 そこで期待されているのが このセルフアセスメントを補完する方法です。 この課題を解決するために、私たちは 生成AIを活用したアシスタント AI ProSARを提案しました。 このツールの目的は、プロセスの知識が まだ十分でない人をサポートし、 実態に即した診断結果を導くことです。 生成AIは、要件定義やコードの作成など ソフトウェア開発への活用が進んでいます。 私たちは、AIの言語理解力と知識の広さが 自己診断の精度を高めると考えました。 AI ProSARでは、最終的な判断は 実施者自身が行います。 一方で、チェック項目に対して なぜその評定にしたのか、 つまり、評定の根拠を 生成AIがアドバイスしてくれるという仕組みです。 これは、プロセス評価が 単に成果物を見るだけではなく、 複雑な判断を伴うこと、そして診断を通じて 実施者自身が学ぶことも重要であると考えているためです。 この仕組みでは、質問とその補足情報、 実施者の評定、そして評定の根拠 という4つの要素でチェック項目が構成されます。 そこに、GPT-4.0という 生成AIを使ったプロンプトテンプレートを組み合わせています。 プロンプトには、専門知識の補足、思考のステップ分解、 不要な情報の整理など、 さまざまな工夫が込められています。 AI ProSARの効果を検証するために、 次の3つの問いを立て、実験を行いました。 対象はプロジェクトマネージャーやチームリーダーです。 RQ1時、アセッサーと同じレベルのアドバイスができるか。 RQ2、実施者にとって納得できるアドバイスを 十分な割合で提供できるか。 RQ3、AIのアドバイスによって診断結果が見直されるか。 結果は次の通りです。 まず、RQ1。多少の見逃しや不要な指摘はあったものの、 初級アセッサーと同等のアドバイスが 可能であることが分かりました。 改善の余地も確認できました。 RQ2では、実施者の評価として、 理解しやすさが79%、分量の適切さが93%、 診断を見直すきっかけになった割合が76%、 どれも高い数値で納得感のあるアドバイスが 提供できたと評価されました。 RQ3では、32%のケースで 診断結果が見直されたことが分かりました。 目標の3分の1に近く、 概ね有効と判断できます。 # 続き これらの結果から、AIプロサーはセルフアセスメント実施時の知識不足という課題を補い、より正確な自己信頼につなげる効果があると示されました。 今後は、さらにアドバイスの質を高めて、アセッサーに近いレベルを目指します。 また、新しいAIモデルの活用も視野に入れています。 AIプロサーは、例えるなら、経験豊富なナビゲーターが、不慣れなドライバーをサポートする存在です。 運転の最終判断は、本人に委ねながらも、交差点や危険な場所では的確に助言を行い、安全かつスムーズに目的地へ導いてくれます。 これからのソフトウェア開発において、AIプロサーのような支援は、大きな価値をもたらすと期待されています。 # #219のコメント返し😍 コメント開始のコーナーです。今回は219話目のマジックポットを3ヶ月使ってみてのコメントを開始します。 コメントは松さんと水けんさんからいただいております。ありがとうございます。 まず1件目松さんですね。効率感のための導入なのに、そこで問題が頻発してくるとつらいですね。 これから社内用ツールを作る予定です。テスト自動化も今のうちから考えているのですが、UI周りから実行するテストは自動化したことがないので参考になりました。 問題がいろいろ起こるだろうなというのは当初から想定していたので、全然そこまで私はネガティブには考えていないのですが、 松さん社内用ツールを作る予定ということで、すごいですね。何のツールなんだろう。 UIで操作した挙動のテスト、自動テストというのは特にウェブの方だとすでにいろんなツールもあるので、 昔からのだとセレニウムとかマジックポット以外にもいろいろ参考情報があるかなという感じがしています。 2件目はみずけんさんです。マジックポットでスマホアプリの自動化ですか。いろいろ問題が起きていますね。 実際に現場で起きている問題をあげていただき、とても参考になりました。 私はノーコード自動化ツールでウェブシステムの自動化をしていますけど、幸いなことに今のところここまでの問題は出ていないです。 スマホアプリはいろいろありそうだなということで、コメントありがとうございます。 そうなんですよね。ウェブシステムの自動化もちょっとだけ前にやったことあるんですけど、感覚的にもスマホアプリの方が難しい感じがしますね。 1位の自動テストツールをいろいろ見てみても、ウェブアプリ対応のものはいっぱいあるけど、スマホのネイティブアプリに対しているものの方がパッと的に少ないかなというのも実際に調べていて感じたことだったりします。 はい、ということでコメント返しのコーナーでした。 # 次回予告 今回も最後までお聞きいただきありがとうございます。 次回は音声スタートアップの世界についてお話をしていきます。 先日、月曜日くらいですかね、話す予定だったんですけど、差し込みで別の放送をしたので、そちら飛ばした分、音声スタートアップの世界についてお話をしていきます。 今回の放送を聞いて、なるほどな、確かにな、学びになったなと思った方は、ぜひ、画面右下、ハートマークでいいねを押していただけると、とっても励みになります。 また、8月2日土曜日11時からは生放送を行います。 そして、8月31日日曜日の2時、午後2時からはオフ会を渋谷で行います。 8月2日の生放送では音声LT大会を行います。 水犬さんとマットさん出られるかな、ちょっと勝手に期待しておりますので、よろしくお願いします。 そして、8月31日のオフ会は渋谷で行います。 前半は読書会、後半がお食事会になります。 本のソフトウェアテストを徹底しましょう、読みたいんだけど、なかなか進んでないなという方は、ぜひご参加ください。 このチャプターにPTXのURLを入れておきます。 それでは、また明日お会いしましょう。ごきげんよう。