# タイトルコール テスティングジャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索する、をコンセプトに、 エンジニアリングマネージャー兼QAリーダーの佐美が、 ソフトウェアテストのコツや品質保証の奥深さ、そして日々考えていることをお話しします。 # はじめに こんにちは、さみぃです。いかがお過ごしでしょうか。今回はですね、先日1月の10日だっけ、9日の月曜日の夜に行われました、 森崎先生とのゲストトークのアーカイブをお届けします。 論文の読み方、選び方というところで、私自身最近はノートブックレームとかで 英語の論文を読むハードルもすごく下がってきたというふうに思うんですけど、一方でどうやって探したらいいんだろう、読んだらいいんだろうというところが全然わからなくて というお話をさせていただいております。私自身はですね、めちゃくちゃ学びが多い時間でして、もうこれはもう何回も聞いて実践していこうというふうに思っております。 ちょっと他の方がね、どれくらい、なんかこれいいねと思っていただけるかめちゃくちゃわからなくてドキドキしているので、ぜひコメントいただけると嬉しいです。それでは本編どうぞ。 # 森崎先生ゲストトーク！論文の読み方、探し方 はい、ということで今回は森崎先生をゲストにお呼びしてゲストトークを行います。 ゲストトークはですね、飲み会でお話をしてるんだけど、雑談っぽく話してるんだけど、緩く話してるんだけど、何か学びがあるみたいな、そんな雰囲気で目指しているのがゲストトークでございます。 ということで、森崎先生よろしくお願いします。 よろしくお願いします。 お願いします。 では、自己紹介を最初にお願いしてもよろしいでしょうか。 森崎修司と申します。 一旦ソフトの開発の会社というかインターネットサービスプロバイダーに勤めていて、自分の担当のプロダクトを作って、それからしばらくして大学に戻りまして、そこから大学教員をやっているという感じです。 普通に研究者、論文を書きなさいと推奨される立場なので、論文を読んだり書いたりしています。 よろしくお願いします。 お願いします。 そうなんです。前回お話ししたのっていつぶりなんだろう。前は一度生放送に来ていただいて。 夏でしたね、多分。 調べてみようかな。 そうです。LT会みたいな。音声でLT会話できるのかっていうのを試したとき。 これですね、8月4日。確かに。 夏以来ですね。ありがとうございます。 今日の早速本題に入っていくんですけれど。 テーマとしては論文の探し方、読み方というところで、最初は探し方からいきたいんですけれど。 ノートブックエレムとかで結構論文を読むハードルが下がったのかなというふうに思っている中で、 一時情報というか論文もしっかりもっと読めるようにしたいなって思っているんですけれど。 例えばソフトウェアテストとAIみたいな。 じゃあ論文探したいって言ったときに、どう探したらいいか分からなくて。 どうしたらいいか。 一つは具体的な方法とかが決まっていれば、生成AIに探してもらうっていうのは一つの手だと思ってまして。 例えばチャットGPTとかのほうがジェミナイとかより上手い気がするんですけど、こういうことやってる論文探してっていうと、ちょっと時間かかりますけど見つけてくれるって感じですね。 そうじゃなくて、キーワードからいきたいってなると、Google Scholarっていう論文とか特許専門の検索エンジンがあるので、 そこにキーワードを入れにいくっていう感じですかね。 じゃあちょっと今手元でやってみます。 チャットGPTのソフトウェアテストでのAI活用について書かれている文章を教えてください。 ウェブ検索オプションとかまだあるんであれば、最近どうなってるんでしたっけ。僕ちょっとプロしか使ってないんで。 昔はウェブ検索とかあった気がするので、今もありますね。 僕ブラウザで見てるんですけど、テキスト入力できるとこの左下ぐらいにプラスの足し算のマークがあって、そこで僕の手元だとさらに表示っていうメニューの中にウェブ検索ってあるんですけど、 こいつとかを指定して、指定しなくても探しに行くと思うんですけど、指定した方がいろいろウェブ検索した結果が出てくる気がします。 学習データに、生成AIの学習データの中にも入ってるので、その時にはそこからストレートにこういうのありますってなるんですけど、最新のじゃなかったり、その学習時点のものしか見つけられない感じがします。 あんまり最新を追っかけてもしょうがないんですけど、あんまりこなれてて、そこそこ読まれてるやつのほうが、実務で使う分にはそっちのほうがいい気もしますね。 今日準備をちょっと考えてたんですけど、割と難しくって、研究者として見るときは最新のやつを見て、なんかすでに誰かが言ってることを言おうとしてないかっていうチェックしないといけないんですけど、 実務で使う分にはそれはあんまり関係なくて、一番王道というか、最初にその概念とかを言い始めたやつを探したほうがいいかなっていう感じで。 そこが結構なんですかね。僕の中ではうまく切り分けられてないというか、ちょっと事前にいろいろ考えてたんですけど。 なので、戻すと、チャットGPTに探してもらうかと。グロックとかも結構探してっていうと、かなりきっちり検索をしに行く感じなんで。 ジェミナーにあんまり探さない、探すリソースを使いたがらないって感じですね。 チャットGPTに、私の聞き方も雑すぎたんですけど、ソフトウェアテストでのAI活用について書かれてる論文を教えてくださいっていうふうに入れたら、1,2,3,4,5,6、10個近く探しては売れて、 アイトルみたいな、なんか興味あるのあるか。 あ、これとか。 Effective test generation using trained large language models and mutation testing。 ちょっと古いかもしれないですね。 2023年とかだった。 論文のちょっと課題なんですけど、どういうタイプの論文かにもよるんですけど、国際会議とかだと年に1回しか国際会議、基本的には開催しないので。 2023年に発表してるってことは、2022年に投稿してる場合が多くて。 2022年に投稿しようとすると、2021年ぐらいから仕込んどかないと。 簡単なとこだと3ヶ月で書いて投稿とかできるんですけど、ちょっと内容が雑だったりとか読み取りづらいんで、 割と難易度が高いとこに掲載されてる方が役に立ちやすかったり、調査が細かかったり、いろんな側面で評価してたりするので、難しめがいいんですよね。 難しめのやつは時間がかかるっていう問題があって。 例えばGPT-3とか、いつの話っていうぐらいの古いモデルを使ってたりするので、そこがAIに関しては課題になるとこですかね。 あとはこれか、2025年のUsing AI and Machine Learning in QA Testing。提供元がAmerican Scientific Research Journal。 これは何だ? そんなにすごく、あんまり個別にこれがすごいとかすごくないときは適応作るんで、割と広い範囲の論文を掲載するとこだと思うので、 サイエンティフィックって相当広いと思うので、そこは激ムズな場合と、Natureみたいな広い範囲の論文を掲載する場所だけど、なかなか掲載されないっていうパターンと、広い範囲で何でも通すっていう2つのパターンがありまして、ちょっとそれがどっちなのか分かんないですね。 でもランクによらずこれ面白そうと思えば、それをノートブックLMしたりとか、この論文って何が書いてあるんですかって簡単にまとめてみたいな感じでいくと、その手の研究はいらないなとか、こういうのが欲しいなとかっていうのを読みながら多分宣伝させていけると思うので、 まずは例を出してっていう感じでインタラクティブにいくのがいいかなっていう気がします。 例を出してっていうのは。 タイトルぐらいでなんとなく話が分かれば、例えばテスト実行のほうとテスト設計のほうがあると、実行じゃなくて設計なんだけどなってなると、テスト設計に関する論文を探してってやると、ちょっと出てくるのに時間かかりますけど、テスト設計の論文しか結果に表示されなくなるので、 そんな感じで宣伝していくというか、絞り込んでいくっていう感じですかね。 ここのとこだとテストケースセレクション&プライオリタイズイング・ユーザーマシンラーニングとかっていうのが出てきてますね。 テストケースいっぱいあって、どっから実行するかっていう、早くバグを見つけるためにはどいつから実行すればいいかっていうのを機械学習モデルで予測しようっていうテーマが出てたりするんですけど、そうじゃなくてっていう感じでやったりとか、そうそうそれっていう形で絞り込んでいくって感じですかね。 多分最近の生成アイだと何回かやると好みを多少勘案してくれるようになると思うので、最初に出てくる結果が多分パーソナライズされてるんじゃないかなと思います。 なんか全般的に広い範囲で網羅的に知りたければ、論文って基本的には一つの研究を報告してるやつが多いんですけど、その論文をまとめて調査した結果を報告する論文ってやつもあって、 サーベイ論文とかシステマティックリタラチャーレビューとかいう名前がついてたりするんですけど、それやるとこういうタイプの研究がありますとか、ずらっと出てくると思います。 ただ最近の生成アイのテストってやると、全然2021年ぐらいまでしか遡れない気がするので、大したもんは出てこないって感じですね。30年ぐらいのスパンで調査してるやつとかだと、自分でやるのはすごい大変なんで、まとめてくれてると助かるって感じですね。 そうですね。自分の探したいものがソフトウェアテストとAIとかなりざっくりになっちゃってるんで、イメージとしてはテストプロセスでそれぞれで活用、どういうふうにAIを活用できるかみたいな。 そうですね。プロセスごとに分けてってやっちゃえばそうなると思いますし、それで生成AIの結果って網羅的じゃなかったりするので、本当にここをもうちょっと踏み込みたいってなると、さっきのGoogleスカラーとかで、 テストプロセス、ジェネラティブAIなんとかみたいなキーワードを入れて、普通の検索エンジンみたいな使い方をして、そのキーワードを含む論文を探すっていうのがあれですかね。そこまで頑張らなくていいような気もしますけど。 テストプロセス。 Googleスカラーも初めて見たんですけど、これは日本語のが先に出てくるのか、そういう設定になってるのか。 分かんないですね。 どうか。 書籍がPDF。 ソフトウェアテスト技術、知識ゼロから学ぶソフトウェアテストアジャイルAI時代の非経験教科書。 それはもしかするとパーソナライズされてるかもしれないですね。 日本語じゃないですよね。普通にアルファベットで検索キーワード入れてますよね。 日本語で入れましたか。 そうすると日本語になりますね。 はい。 オートメイティテストケースジェネレーション フォーソフトウェアテスティングユーザーのジェネレーションAIとか。 それは良さそう。 僕もそれは出てますね。僕は4番目かな。1,2,3,4,5番目か。 ちょっとパーソナライズされてるんですかね。 PDFとかざっと閲覧できるやつはしちゃうっていうのが僕の読み方ですかね。 これはでも全然図がないな。図があると図だけ見て何か何しようとしてるかっていうのをおおよそつかんで、 これは違うとか、これをもうちょっと読もうとか、そんな感じで決めていくといいかなって思いました。 実務的なというか、成果を流用しようとすると。 ありがとうございます。 キーワードとかでまず探してみて、見つけたもののアプストラクトとか概要をノートブックエレメントとかで教えてもらって、 気になるものを自分に合ってそうというか気になるやつを読んでいくと。 まだちょっとそれもまどろっこしいですけど、今ある中では割と早い方法だと思います。 ありがとうございます。続いて、見つけた後の読み方の話に移っていきたいんですけど、 前提としてというか、私自身は大学の時もほとんど論文って読んだことがなくてっていう状態で、 気になった論文があった時にどう読んだらいいかが分からなくて、 一回この間やったのはノートブックエレメントで要約をしてもらってちょっと概要を見つつ、 あと英語の論文だったので日本語に合って翻訳してもらって、 両方見ながら画面の半分を原文の英語で、右半分を日本語にして一緒に読んだっていうことだったんですけど、 結構長かったりもして、結構体力を削られたんですけど。 時間かかりますよね。 どういうふうに読んでいったらいいんですかね。気になる箇所から読んでいく感じなのかとか。 まずは図表が早い気がしていて、図で何やろうとしてるか。 アブストとかでおおよそ何をやろうとしてるかっていうのが掴めてれば、図も概略図というかどういう仕組みかみたいなことが書かれてる図が多分1個ぐらいはあるので、 それでちょっと理解を深めるっていう感じですかね。 めちゃくちゃ急いで探すときは多分アブストも読まず、タイトルと図だけで関係あるかどうかっていうのをざざっと判断してる気がします。 大体この論文は読んで問題なしというか、そんなこれをちょっと深掘りして読みたいっていうことが決まっちゃえば、 あとは結果のとこだけ読むっていうのが早い気がします。 10ページぐらいある論文、10ページ以上ある論文であれば、基本的にはこういうことを考えましたって言った後、 考えたことに対して実際に確かめましたっていうのがついてると思うので、 その実際に確かめましたっていうところを見て、そもそも自分の用途で使えるのかとか、 できてるって言ってるけどそれはだいぶできてないなとか、 なんかそういう辺りをチェックしていくっていうのが次のステップなんじゃないかなと思います。 テストケースを生成しますって言ってるけど、それは数値計算のテストケースだけですとかってなると、 数値計算のソフトを作ってない人にとってはそれは違うってなると思いますし、 GUIアプリの操作を時系列で生成しますみたいな研究テーマあるんですけど、 自分のはGUIないしってなるんだったら、それは外していかないといけないので、 なんかその辺りを結果のところか、 割とこういう方法を考えましたっていう手法のところは広く書かれてるけど、 実際試してるのは狭い範囲っていうのが比較的多いと思うので、 どういうところで効果が出てて、どういう対象に対して効果が出てて、 どういうところにその効果が出てないのかっていうのを調べにいくっていうのが次のステップなんじゃないですかね。 だいたい後ろの方のとこに一番最後まとめになってて、その一つ前がだいたい考察なんですけど、 その一つ前に評価の結果が書かれていることが多いと思います。 リザルトとかエバリュエーションとか書かれていることが多いと思うんですけど。 そこでさっきのテストケースを自動生成するっていうテーマだったら、 どういうプロダクトコードに対して、どういう情報を生成アイに与えてテストケースを生成させたかとか、 多分手順が書かれていると思うので、そんな情報を与えないと出てこないんだったらいいわってなったりとか。 その正解率とか必ず書いてあると思うので、生成1万件されるけど、実質その人手で作った、 例えば僕がそういうのを評価しようとすると、オープンソースで公開されているテストコード付きのプロダクトを探してきて、 そのテストコードを見せずに生成アイにテストを生成させて、生成させた結果とオープンソースとして公開されているテストコードを付き合わせて、 何パーセント正解、一致してましたとかってやると、あんまり恣意的じゃない評価ができるので、 自分で考えて自分で当てますってなると、割と100点に近づいていくっていうか、ちょっと主観が入っちゃうので、 多分そういう感じで評価されていることが多いんじゃないかと思うんですけど、その部分を探しに行って、 例えばオープンソースのそれは本当に自分が欲しいっていうか、自分が担当しているソフトと似てるようなタイプのソフトなのか、 めちゃくちゃ電卓みたいなすごいちっちゃいソフトウェアに試しただけっていう話で、自分のところの規模には合わなさそうだなみたいなやつを勘案していくんだと思います。 それが次のステップですかね。 研究としての論文は、新しさというかこれまで考えたことが提案されている内容とは違うっていうことを示さないといけないので、 実務で使うときはそれあんまり関係ないというか、丸パクリでも全然OKっていう感じなので、それが大体1章とかはじめに書かれている1章とか、 2、3章ぐらいでこういうことをやりますっていうのを提案してたりするんですけど、その辺はあんまり真剣に読まなくていいというか、 本気で真似するってなったら細かく読まないといけないんですけど、概略を理解するっていう上ではアブストラクトが読めてれば、後で読んでいいよしという感じだと思います。 なるほどですね。 多分読み方どうなんですかね。読み方を教育するのかな。わかんないんですけど、そこにどっぷりつかるっていうことが前提になっていると、 大体こんな章構成で書かれてて、自分の欲しいものはこの辺の章に書いてあるみたいなやつが10本とか20本とか読むと予想できるような感じがするので、そうするともはや飛ばし読みというよりはここしか読まないっていう読み方ができる気がします。 それがどっぷり使うのはめんどくさいってなると、生成派にその質問をするっていう感じですかね。どういう対象ソフトウェアで評価してますかとか。 ノートブックLMでいい気がするんですけど、何本か気に入ったやつをPDF何本かは同時に読めたような気がするので、それをDRAK & DOPSでしたっけ、覚えてないけど、対象のPDFにして、これらのファイルの中でこういうことをそれぞれについて調べてくださいとか言うと、なんとなく出てくるような気がします。 たしかに、そうですね。 ただあんまり複数本楽ができるかなと思って複数本読ませるんですけど、読み方がおかしいというか、1本目だけ読んでるとか最後だけ読んでるとかっていうのは、僕の過去の経験だとそんな感じが多くて、結局1本ずつ読むか。 もうそれぐらいだったら、一文一文追わないけど、ざっとPDF本体を見るか、もしくは気合で読まないといけないってなると、GoogleトランスレートでPDFごと翻訳してもらうかって感じですかね。 分野が違うとちょっと全翻訳して読むことが、僕の場合はあります。 分野が違う。 日本語がわからなさすぎて読めないんですよね。理解できないんですよね。 割と抽象的なこととか書かれてると、この意味がわからないみたいな感じで、その時は全文翻訳するんですけど、全文翻訳で出てくる日本語も何言ってるかわかんなくなるんですよね。 なのでちょっとその分野が違うと、例えばテストケースとかわかってる用語で書かれてる場合には、そんなに読むのに苦労しないと思うんですけど、それが聞いたことないような用語で書かれてると、その用語がそもそも何を表してるのかみたいなとこからスタートしちゃうような気がします。 今回の探しておられるものに対しては、そんな心配はしなくていいのかな。さっきミューテーションテストとか出てきてたんですけど、ミューテーションテストがいいなっていう感じになると、ミュータントとかその辺の用語は知らないと読み解けないと思うんで。 多分生成家に聞いてもそのままカタカナでミューテーションとかミュータントって出てきて、どういう意味?って感じになっちゃう気がします。 助けになってますかね? すごい勉強になってるんですけど、まだ自分でできそうな気がしてないんです。難しそうだなと。どこからやろうかなっていうのを聞きながら考えてました。 ちょっと見るんですかね。どんなテストプロセスに分解して、プロセスごとにどんな風に生成アイを使ってるかっていうのを例えば調べようとすると、一つはそういうサーベイ論文っていうか、論文ばっかり調べて報告してる論文を見に行くのが結構早いと思います。 多分プロセスごとにテストの、何最初やるんですか?戦略を立てるんでしたっけ?戦略立てて、計画立てて、設計して、なんかして、実行して、最後報告するみたいな感じのプロセスとかが多分定義されてると思うので、そのプロセス定義に沿って、この人がこんな論文書いてます、この人がこんな論文書いてますとかっていうのをずらっとサーベイ論文とか、 システマティックリターンチャーレビューだと、その結果が出てくると思うので、それが見つかるのがその幅広で探すときは一番、なかなか楽ちんだと思います。 そのサーベイ論文も前半はほとんど、大体5、6章ぐらいになってると思うんですけど、2章とか3章とかは他の論文でこんな調査をしたものはないとか、対象とした電子図書館というか、対象とした論文の検索エンジンとか、どういうキーワードを使ったかとか、 ノイズが入って、関係ない論文が入っちゃうんですけど、それをどうやって取り除いたかとか、割と研究的な話が前半にあって、そこはもう全部すっ飛ばして読む必要ないと思います。 後半に、そのプロセスごとにこんな論文がありましたっていうのが多分撤去されてて、その後半読んじゃえば、おおよそこんな論文があるって分かって、それで興味があれば、1本ずつノートブックLM的に読んでいくっていう、そんな感じになると思います。 ありがとうございます。今、チャットGPTでサーベイ論文を探してくださいって、ソフトウェアテストプロセスごとでの生成や活用に関するサーベイ論文を探してくださいっていうふうに聞いてみたんですが、そしたらなんか1個なのかな、良さそうなのが。 タイトルがArtificial Intelligence in Software Testing Systematic Review 2025っていうのが出てきて、これがまさに体系的に整理した論文と。 これって、僕も今その論文にたどり着いてるんですけど、これのPDFって見れますか? ダウンロード今できたような気がする。PDF。 見れますね。多分オープンアクセスなので、それもし開ければ、これを例に具体的に説明できます。 もうあんまり1文1文読むっていうのは、死ぬほど暇になったときにやるとして、外すともう飛ばしちゃって、このタイトル通りのことしか多分やってないと思うので。 1章は、なぜこの研究というか、このサーベイが必要かっていうのが書かれてるんで、もう読まなくて大丈夫です。 2章のソフトウェアテスティングってやつも、多分テストって何っていうのを定義してるので、それは知ってるという感じで飛ばします。 3章がシステマティックリタラチュアレビューオンAIアルゴリズムソフトウェアテスティングって言ってて、これはここから多分3,4,5とあるんですかね。 ちょっとここがどういう分類でこの章タイトルが付いてるのか分かんないので、次の章があるかどうかをどんどん、これ長いな、どんどんスクロール。 4章はエヴルーションオブAIアルゴリズムソフトウェアテスティング。じゃあこれは多分3章の方がいろんなこと書いてありそうなので、まず現状どうなってるかっていうのを紹介してそうなので、3章を読むと。 間違ってたらまた変えるって感じですね。多分6ページぐらいから始まっていて、この手の論文、この手の論文じゃないやつも割と書かれてるんですが、R9っていうリサーチクエスチョンってやつがあって、太字でR9-1とかR9-2とか書いてあるんですけど、これを探しに行くと早いです。 なぜかというと、この質問に答えようとして調査をしてますっていう論文の書き方なので、これは別に実務上でも研究上でも共通した読み方で、ここ20年ぐらいで広まっていった方法。 このソフトエンジニアリングの分野ではここ20年ぐらいで広まっていった方法なんですけど、そこを読むとR9-1は、どんなAIアルゴリズムがソフトウェアテスティングで使われていて、どういう目的でそれが使われているかっていう話なので、どういうアルゴリズムがあるかっていうのが分かると。 アルゴリズム興味なしなんでR9-1はすっとばすと。R9-2のほうがソフトウェアテストのAIアルゴリズムによってどんな変数が使われているか。これは多分インプットのパラメーターとか、学習データとか出力のデータなんじゃないかなっていう気がするので、 ちょっとR9-2は後で読もうみたいな感じで決めていく感じです。R9-3はソフトウェアテストでAIアルゴリズムの結果はどんなふうな指標を使って評価されてますかなので、それは関係ないから、実務には関係ないからいいやという感じですか。 R9-3は多分正解率とか、正解予測、生成やに予測させようとすると、本来正解しないといけないもののうちどれぐらい正解してたかっていうのと、そいつがこういうテストが必要だって言ったやつの中で本当に必要だったやつはどれかみたいなのが必要でして。 天気予報みたいなものですよね。天気予報で雨ですって言ったときに本当に雨が降ってるかっていうのと、雨の日に本当に雨ですって言ってるのかっていうのはちょっと別でして、毎日雨降ってますって、今日は雨ですって言っちゃえば100%当たるんですよ。 だけど雨じゃないときも雨って言ってるでしょっていう感じなので、その辺の当たり外れをどんなふうに評価してるかっていうのがこのR9-3の質問だと思うので、そうすると、この中1,2,3のうち実質的に見るべきは2っていう感じになると思うんですね、実務上では。 で、このR9-2の答えを探しにキーワード検索とかした方がいいんじゃないかなと思うんですけど、どっかにリザルトが書いてある案なので、どこやろう。僕はちょっとキーワード検索せずに目で、気合で何とかしようとしてるんですが、見つかんないですね。 3.5.4、これ何ページだ。16ページくらい。 ありますね。それです。 で、ここの中に表とかがもし参照されてれば、例えばこのページの上のテーブル6って、前のページからテーブル6が続いてるみたいなんですけど、これはあれだな。でもR9-1の結果か。 R9-2の結果はテーブル7ですかね。AI Input Variables Used in Software Testingとなってるので、もう文章読まずにこの表まず見て、分かればラッキー。分からなければ本文を読みに行くって感じが早いと思います。 そうすると、カテゴリーとしてStructural Source Code Metricsとか書かれてるんで、何か分かんないけどソースコードの指標値を使ってるなとか。 Evolutionary Historical Metricsって何のヒストリカルか分かんないけど、時系列の何かを使ってるのかなとかっていう感じで当たりをつけていくって感じですかね。 っていうのが、サーベイ論文がうまく見つかった場合の読み方だと思います。なので、R9以外、今の感じだと読んでない。読まずに進むので。 そうすると、これ探したり何たりするのがめんどくさかったら、生成範囲にR9とその答えを簡単に要約してっていうと、それぞれ出てくる気がします。 ただ、多分もうPDF直接見て目で見た方が、このぐらいのレベルだったら早いですよ。 このぐらいのレベルっていうのは。 R9チェックして表に出てる文字を見て、ふーんっていうぐらいの理解であれば。 もうちょっと生成範囲のスピードが速くなったら変わってくるんでしょうけど、今すぐに出てこないんで、探してる間に何していいか分かんないというか。 時間がどんどん経っていって、探すのが嫌になってくるって感じなんで。 分かんない。僕だけかもしれないですけど。せっかちなだけかもしれないですけどね。 みたいな探し方が一つですかね。 ここに番号がテーブル7の一番右の列にstudiesって書かれて、水色で18とか20とか59とか書かれてると思うんですけど、 これ一個一個が論文なので、これを全部読むとかなり骨が折れますが、ここだという漢字だと、この項目をちゃんと理解したいと思えば、一個ずつ読むっていう漢字になると思います。 テーブル7の全体像というか、ちょっとついていけてないんですけど、ソフトウェアテストで使われてるインプットがどういうものがあるかっていうカテゴリーが書いてある。 そうですね。これが用語がわからないときの、よくわからんになるんですけど、カテゴリーのとこですね。 サブカテゴリーとか見ると、OOはオブジェクトオリエンテッドなんですけど、オブジェクト思考メトリックスとか、オブジェクト思考依存関係のメトリックスとか、 そんな感じで、うっすら読めたりわからなかったり。これらが本当にようわからんなってなると、まさにGoogleトランスレートの出動と。僕の場合はそうしてます。 ソースコードの分岐がどれぐらいあるかとか、条件分岐がどれぐらいあるかとか、複雑さがどれぐらいになってるかみたいな数値を入れて、それで何かを予測させようとしてるっていう感じですね。 なので本当にテストケースを生成させるっていう感じじゃない気がします。結果まで見て、自分の欲しいもんじゃないなみたいな感じにたどり着いて、じゃあ一から最初からスタートするかっていって、また生成アイの出力したサーベイ論文のとこに戻っていくみたいなやつを行ったり来たりするっていう。 多少しないと見つからないですね。たまたま運よく見つかることもあると思うんですけど、そっちの割合って低い気がしますね。 どっちかっていうともう具体的にこれを読みましょうみたいな話の方がここでは適切なんですかね。 まさに生成アイを使ってテストをいい感じにさせようとしてる論文はこれなので、この論文を読みましょうと具体的に決めちゃう。 今話としては多分探すプロセスを説明してる感じなんですけど、プロセスはいいのでこの論文っていう感じなのかっていうところですね。 それはそれで気になりますね。プロセスも今回のメインテーマではあるんですけれど、最近の直近の自分の興味としては、 例えばテストの計画だったりとか、テスト分析、テスト設計のあたりでどういうふうにAIを活用できるのかとかが、情報があったら欲しいなという感じですね。 するとそのテストアナリシスとかテストデザイン、ジェネラティブAIとかサーベイぐらいのキーワードでGoogleスカラーを探してみるっていうのがいいのかなっていう気がしていまして。 なぜかリクライメントエンジニアリングっていうのが一番、僕の場合一番の検索結果が出てくるんやけどなんでやろうな。 テストデザインだけにしましょうか。ダブルクオートでくくるとそのイグダクトマッチに変わるんで。そうすると。 でもなんかサーベイは出てこないですね。 ここのテーマが出てきちゃいますね。じゃあテストプロセスとかにしちゃいましょうか。 テストプロセス。 偉そうに言ってるけど、目的のものはすぐには見つけられないっていうのが僕の手たらくが漏天した感じがしますけど。 ないな。 じゃあサーベイをやめて、システマティックインターナチュアレビュー。 そうすると、ラージランゲージモデルズフォーソフトウェアテスティングリサーチロードマップってやつが2025年のやつで、僕の手元では出てきましたね。 テストプロセスをダブルクオート、ジェネラティブAIをダブルクオート、システマティックインターナチュアレビューをダブルクオートして、グーグルスクラーを検索すると70件ぐらい答えが出てくるんですけど、僕の場合上から2つ目が。 これ通ってない論文かもしれないんで、投稿中のやつもアーカイブってやつで、ARXIV.orgってやつで。 まだ差別通ってないんで、文章を書いたっていうだけかもしれないんですけど、これが見つかります?タイトルをそのまま。 見つからなかったですけど。 何種のタイトルやったっけ。 Large Language Models for Software Testingぐらいで、グーグルスクラーしていただくと出てくるんです。 Large Language Models for Software Testing。 ソフトウェアテスティングウェイズラージ。 あ、違うか。こっちか。あ、ありました。これだけをする。 フリーアクセス。 フリーアクセス。 これも1章、2章はどんどん飛ばして。 何か見れます? 中身見れました。79ページもあります。 すごい。4ページぐらいにやっぱりR91234と太字でR9って書かれたやつがありまして。 3章かな。 で、ここの中で気になるやつがあれば、 1個目は研究カテゴリーって言ってて、 2個目はこのカテゴリーの中でどれぐらいのことが実現できてるかって言ってて、 3つ目は、 あ、でもこれなんか全部研究やな。ダメやな。 どういうテーマがありそうかっていうのをR9-3で言ってて、 R9-4は、 これはテストの研究としてレデムはどんな風にこれまでのやり方を変えていくかみたいな話になってるんで、 ちょっとこれダメかもしんないですね。 でもちょっとどれがいいかな。 R9-1234の中で、 実務としても役立ちそうなのは、 2かな。 結果がどんな結果出てますかって言っているので、 3とかはなんか傾向とか、 チャレンジって問題、解決しようとしてる問題を指して言うことが多いんですけど、 多分あんまそれを知ってもしょうがないので、 このR9-2の結果が書いてあるところを探して、 3章、4章とかも全然、 どんな年代でどんな論文がありましたかみたいなことが書かれてる感じですね。 ちょっとスクロールしていくとテーブル1っていうのが出てきて、 何ページかな、9ページですか。 ここにカテゴリーでユニットテストジェネレーションとか、 ハイレベルテストジェネレーションとか書いてあるんで、 ここにピンとくれば、 ここをいきなり見に行くっていうのもアリだと思います。 なんか今見てるものが違う気がしてきました。 あ、ほんとだ。 エンジニアリングになってますね。 ほんとだ。 それは通じないですね。 いや、それも良さそうですけど、 僕が見てるのはそれじゃないですね。 それちょっと探してみましょうか。 Large Language Models for Software Testing。 ディサーチロードマップって最後についてるんですけど。 ソフトウェアエンジニアリングでも大丈夫です。 やってみましょうか。 今見てるやつって、 Large Language Models for Software Engineering。 これ読んだことあるな。 最後にシステマティックリタラチャーレビューってやつと、 サーベイアンドオープンプログラムズって2つあるみたいなんですけど、 どっちですか。 システマティックリタラチャーレビューを見てます。 じゃあちょっとこれを見てみよう。 じゃあすいません。 振り出しに戻って。 1ページ目は。 時間大丈夫ですか。 大丈夫ですかね。 1ページ目は気にしなくて良い。 まずRQを探しに行きましょう。 2.1。 ありますね。 でもこれちょっと読みづらいな。 ちょっとこう。 どこに書いてあるんや。 これはダメですね。 いいんや。 このイタリックで車体で書いてあるやつが、 それぞれRQ1. What LLMs have been employed to date to solve SE tasks? って書いてあるので、 これはソフトウェア開発の作業の中で、 どんな風にLLMが使われてますか。 ってなってるんで、 こいつの中のテストを探しに行くと、 たぶん気になるやつが見つかるはず。 RQ2は、 どういうデータを使って、 生成愛に与えてますか。 みたいな話なので、 気にはなるけど、 RQ1の方がちょっと先かなって感じですかね。 RQ3は、 LLM for SEってなんや。 ソフトウェア開発のためのLLMを評価したり、 最適化するために使われてる技術は何ですか。 判断できないので、 これは後回しって感じですかね。 必要かもしれないし、 そうでないかもしれないっていう感じですね。 RQ4は、 LLM for SEに、 なんやこれ。 どういうソフトウェア開発のタスクが、 生成愛使うと効果的と言われてるか、 明らかにされてるかみたいな感じなので、 1と4を調べるみたいな感じで、 決めていくんがいいかなと思います。 今度はRQ1の結果を探しに、 どんどんスクロールすると。 中間はなんか、 たぶん、 何ページやろこれ。 ヒグニとか、 どこの国際会議に通ったやつですとか、 かとかなので、 こんなん読まなくていいので、 じゃんじゃん飛ばしちゃって、 RQ1の3章がそうですね。 そうすると、 これもタイトルとかを最初に見に行った方が、 いいと思うんですよね。 3.1にサブタイトルとして、 LLMsって書かれてるんで、 これはどんな大規模言語モデルかって言ってるんで、 後で見ることにしようとすることにして、 飛ばしちゃう。 けど、 フィグ4とか見ると、 たぶんこれがモデルの名前なんじゃないかなと思うんですけど、 GPT3.5とか、 いくつか書かれてますよね。 僕は知らんやつも結構あるんですけど、 知らんやつはなんかあるんだなぐらいの理解にして、 こいつらたぶんLLMのモデル名が、 バージョンが書いてあるなってなって、 飛ばしていくと。 フィグ5はエンコーダーとデコーダーと書かれてるんで、 これもちょっと古いやつって、 昔はエンコード、デコード両方できるやつが、 たぶんなかったので、 これを飛ばしちゃおう。 でも終わっちゃいましたね。 そうするとこのRQ1サマリーっていうのが、 14ページぐらいに書いてあるんですけど、 ここあたりを翻訳させるか、 読めそうだったらパッと読むって感じですかね。 結局結果としては、 どんなLLMのモデルかっていうことしか書かれてないみたいなんで、 GPT-3使うとうまくいきますよとか、 もっと古いモデルを使ってやってるやつもありますよとかっていうのが、 総括して書かれてると思うので、 RQ1はいけると思ったけど、 結局あんまり役に立たないなっていう感じになると思います。 4章のRQ2とかは、 ちょっとこれ飛ばすって決めてるんで、 飛ばして5章、6章までいって、 望んでるやつが出てくれば、 それを深く読んでいくっていう、 そんな感じですかね。 鮮やかにこれでやれば絶対見つかるみたいな感じになればいいんですけど、 なかなかそうはいかないっていうのが、 現実かなって思いますね。 多分オートマティックとか言ってるけど、 僕らが考える自動と、 著者が考えてる自動がずれてたりするんで、 名前だけではなかなか追えないっていう感じで、 実際にちょっと眺めてみるしかないっていうとこですかね。 このノイズというか、 自分が知りたいやつじゃないやつがいっぱい出て困るってなると、 正々やにかなり気合を入れて指示を出すか、 ディープリサーチとか、 ちょっと時間かけて網羅的に調べるやつをやってもらうかなんですけど、 ディープリサーチも結果を読むのにそれなりに時間かかっちゃうんで、 そこら辺が難しい。 そっちもノイズはノイズっていうか、 自分が望んでないものがどうしても入っちゃうし、 よくわからん語択がずっと書いてあるとか、 特にジェミナイの方は、 なんですかね、 格の高そうな文章で冒頭から、 上から説明が入ってくるみたいな感じで、 結果はどこなんやってなりがちなんで、 ちょっとそれも、 限られた時間でってなると、 効率的かどうかはわかんないって感じですね。 そうですね。 そうすると難しいってことですね。 難しいってことが解像度が上がりました。 探し方の、 まずこうやってみようっていうところが少し見えてきたので、 ありがとうございます。 ちょっと加えると多分テーブル、 これが最後にしたいんですけど、 テーブル10のところに、 多分ソフトウェアクオリティーアシュランスっていう、 一番左の列があって、 その中のキーワードとかが探してるやつになるかなと思います。 テストジェネレーションとか、 ペリフィケーションとか、 バグローカリゼーションとか、 テスティングオートメーションとか、 ずらずらっと並んでいて。 何ページぐらいですか? 27かな。 27。 はい。 ひたすらスクロールですよね。 だけど、 27ページできたけど、 テーブルっぽいな。 あった、これか。 ありました。 ソフトウェアクオリティーアシュランスと書かれてる、 ソフトウェアエンジニアリングアクティビティ、 ソフトウェア開発活動の右側に、 バルネラビリティディテクションとか、 戦略性検出とか、 この辺が書かれてると、 これの内訳多分どっかに必ず書いてあると思うので、 この中で気になるキーワードはこれだってなると、 そこをちゃんと読みに行くっていう、 そんな感じになると思います。 ありがとうございます、確かに。 脆弱性…。 18で脆弱性の検出みたいなのが。 これでも18件あるんじゃないですかね。 多いですね。 そういうのが得意とされているのか、 そういう風にやってる人が多いのか。 セキュリティの人が大好きと相性がいいっていうのは聞いたことがあります。 なので、こっちは研究分野として割と広いっていうのは。 テストを生成相手っていうのは、 そんなに研究者の母数が多くない気がしますね。 あとはテストジェネレーションで、 テストの生成が多いっていうのはなんとなくイメージと思いますけど。 多分このテーブル1を参照してる本文があるので、 そこを見るとこの18件はどこかまとまってないんかみたいな感じで、 チェックができる気がします。 テーブルの下にアペンディックスEって書いてありました。 じゃあそれを見に行くって感じですね。 ありそう。いっぱいあった。 でもなかなか気合が入ってますね。 500件ぐらい調べてある。 これはずいぶん時間かかる。 でもいいですね。 モバイルアプリのクラッシュディテクションとかも1個あるんで、 ちょっと見てみようかなと。 テーブルE1を見ていただくと、 どの論文かが分かって、 どの論文かまで分かれば、 ノートブックLMで自分の期待してる内容なのかどうかをチェックして、 フィルターしていくっていうそんな感じじゃないですかね。 ありがとうございます。 すいません。ただここにたどり着くのに1時間かかりました。 いやいやいや。 はい。では霧の威力なったので、 クロージングに入っていこうと思います。 はい。ありがとうございます。 そうですね。 論文探すのはとても難しいということがよく分かりましたけど、 気になったキーワードとか、 今みたいにサーベイ論文から、 キーワードとか論文とかを見つけて、 読んでいこうと思いました。 ありがとうございます。 では最後に森崎先生の方から、 宣伝とかあればと思うんですけれど、 何かございますか? 何かあるかな。 はい。 そうですね。 ボイシーはアップデートできてないんですけど、 ちょっとどっかのタイミングで、 僕もボイシーのチャンネルを持っているので、 割明くんって泣いているので、 そこで発信していきたいなと思いました。 そうだ。あと、 CCIでソフトウェア開発をいい感じにできそうだと、 僕が判断したものは、論文は、 割とノートとかツイッターとかで、 Xとかで紹介してます。 S森崎とかで検索していただくと、 きっと見つけていただくことができるかなという感じです。 はい。ありがとうございます。 森崎先生のボイシーのチャンネルのタイトルは、 実務にも役立つソフトウェアエンジニアリング研究紹介ですかね。 はい。それです。 はい。ありがとうございます。 放送を楽しみにしてます。 はい。気合が必要です。 はい。ありがとうございます。 では、締めたいと思います。 本日はありがとうございました。 失礼します。 はい。失礼いたします。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 明日の放送はですね、マークさんのブログを読んで考えたことについてお話ししようと思っております。 年末、アドベントカレンダーのシリーズにマークさんが 品質保証と関係性、AI時代の救援及び品質文化というブログを投稿されておりますので その内容のようやくこんな内容だったよというところと あと読んでどういうふうに考えたよというところをお話ししていきます。 今回の放送を聞いてよかったなと思った方は 是非ハートマークでいいねを押していただけるととてもとても嬉しいです。 聞いていただくだけでもとても嬉しいんですけれど リアクション、いいねだったりとか あとコメントしていただくと私に直接フィードバックとして このような名前の方が聞いてくださっているんだなというのが伝わるので 是非いいねを押していただけるととても励みになります。 それではまた明日お会いしましょう。ごきげんよう。