# タイトルコール レフティングジャーニーへようこそ。 このチャンネルではソフトウェアテストの世界を探索するコンセプトに エンジニアリングマネージャー兼QAリーダーのサミーが ソフトウェアテストのコツや品相性の奥深さ、そして日々考えていることを話します。 こんにちは、サミーです。 今日もワクワクしていますか? 今回はですね、久しぶりの生放送対談になります。 元同僚と呼ばれるですかね、仲間のマークさんをお呼びして2人で 先日参加したスクラムフェス新潟の感想だったり そこからインスパイアされてのディスカッションだったりをしております。 お昼食べながらですね、ゆっくり聞いていただけると嬉しいです。 # Markさんとスクラムフェス新潟2026の感想会 今回のゲストはマークさんです。よろしくお願いします。 マークです。よろしくお願いします。 よろしくお願いします。 今また新しく秀明さんがいらっしゃいました。 こんにちは。 秀明さんはパーソナリティをされている方ですね。 毎回放送を聞いたことがあるかもしれない。 よろしくお願いします。 今日なんですけど、スクラムフェス新潟の感想会みたいな感じ、ゆるーくですね。 ご飯を食べながらというか、私はさっき食べちゃったんですけど、 こうだったねとか、これよかったねとかをゆるーくお話しできたらいいななんて思っております。 了解です。リスナーの皆さんはスクラムフェス新潟のことはご存知なんですか? いや、ご存知ない方も多いんじゃないかなと思います。 じゃあちょっとお知らせが必要というか。 そうですね。スクラムフェスとは何ですかっていうところかな。 スクラムフェスって何ですか? 僕に聞く。 日本各地でスクラムフェスというのをやっています。 スクラムというのは何かというと、アジャイル開発というソフトウェアの開発作り方のプロセスのやり方の一つなんですけども、 日本中にスクラムってやり方でプロダクト開発をしているエンジニアとかマネージャーさんとかいらっしゃるんですよね。 そういう人たちがワイワイ集まって意見交換したりとか、最新の事例にキャッチアップしたりとか、そういう感じのイベントです。 今回はスクラムフェスの新潟で行われた回に、僕と三味さんが参加してきましたよっていうのが背景になります。 ざらっとこんな感じでどうでしょう。 ありがとうございます。 そうですね。ソフトウェア開発、いろいろな進め方とか開発の手法とかあって、それの一個として、アジャイルは考え方か、スクラムが形式なんですね。 スクラム開発ってわけじゃないのかな。スクラムだったり、アジャイル開発に関わる事例の共有だったりとか、コミュニティとしてスクラムフェスがあって、 新潟はソフトウェアテストにかなりフィーチャーしているというか、ソフトウェアテスト関連のトピックがとても多いのが一個、新潟の特徴なのかなという感じはしています。 そうですね。スクラムフェスって新潟、特に新潟、2022年に始まったイベントなんですけども、その頃からいわゆるテストコミュニティとアジャイルコミュニティを一緒に混ぜ込んでいこうみたいな感じの考えで進められてきましたよね。 そうですね。 そうですよ。テストエンジニアリングとか自動化とかに加えて、アジャイルのリーダーシップとか、あとはメンタルヘルスなんかっていうのも結構入ってきてますよね。なんか今年も小田中育夫さんだったかな、メンタルヘルスのテーマで、非常に元気づけるようなセッションをやったりされてますよね。 確かに確かに。育夫さんのやつは、変化の激しい時代をご機嫌に生き抜くためにストレスマネジメントの進めというタイトルでした。 ソフトウェア会社はもちろん、開発以外の方も参考にできるような日々の仕事の中で、ちょっと日本人はストレスをためがちというか、AIで加速していく中でメンタルヘルスやみがち問題っていうのがあるかなと思うんですけど、 そういった現代の辛みに対して、すごく小田中さん流、育夫さん流にザクッと切り込む、いいセッションだったなというふうに思いましたね。 私、裏のブロッコリーさんのやつ聞いてたんで、育夫さんそんな感じだった。 ブロッコリーさんのやつって何でしたっけ、シフトレフト? そうですね、ブロッコリーさんのはQAイコールテスト、シフトレフトイコールスクラムイベントの参加者一員の呪縛を解く、アジャイルな開発を止めないために10Xで挑んだ右側のしわ寄せ解消器。長いです。 右側ってのは何のことを言ってるんですか? シフトレフトの逆の後工程、最後の工程のほうでユニットテストの後とか、システムテスト受入テストのところにしわ寄せが来ちゃってるよね、を解消する。 なるほど。いわゆるVGモデルっていう形がありますけど、ソフトウェアを作っていくときに、左側のVのところで設計して、右側のVのところでテストするみたいな図がありますけど、それの右側ってイメージなんですか? そうです。 ここでどんな学びがありましたか? ちょっと一生懸命記憶を掘り起こしてるんですけど、ちょっと具体のが思い出せない。思い出せないけど感想としては、自分も結構やってきたことと同じだなと思ってすごく安心感というか、自分のやってたことも間違ってなかったんだなみたいな感想はすごく持ったんですよね。 なるほどですね。これはテストプロセスの再構築とか。テストって後に回ってくるステップ工程なので辛いとか、時間がなくなるとか、そういうイメージありますけど、そういうのからの解放というか、新しくテストのプロセスを構築をしていくこと。 QAも開発初期段階から入っていきましょう。QAってのは品相書のことですね。開発初期段階から入っていきましょうみたいなことを話されてたのかなと。さすがのブロッコリー産物誌ですね。 そうですね。デザインドックって表現されてましたけど、これ設計書とか資料書なのかなと察するんですけど、そういうタイミングからQAレビュー入っていきましょうとか、あとユニットテストを一緒にテストパターン洗い出したりとかっていうお話を確かされてたと思います。 お便り一つ紹介します。クジラーさんからこんにちはとお便りいただきました。いらっしゃいませ。 こんにちは。いらっしゃいませ。 ここまで喋っておいてあれなんですけど、マークさんの自己紹介をしていないことに気づきました。 はい。そうですかね。僕の自己紹介ですね。では皆さま、改めましてマークといいます。有名人じゃないので自己紹介しないとですね。 私はQAエンジニアという職種に長くついていまして、10年ぐらいキャリアあるんですけども、その中でサミンさんとも同じチームで仕事させていただいた機会がありまして、それ以来仲良くさせていただいているというところです。 最近転職したばっかりなんですけども、転職先ではいわゆる外資系のテスト製品を売る人みたいなポジションになっておりまして、なので肩書きもQAエンジニアという現場の人というよりも、プリセールスとかコンサルタントとかそういうふうに呼ばれるような形に変わってきます。 なので久しぶりにスクラムフェス新潟に行って、現場のテストの人たちとか、品操省とか、アジャイルとかの話をできたので、非常に満足感高かったなと思ってたりしてます。 はい、そしたらこのところですかね。 はい、ありがとうございます。マークさんと一緒に仕事してたのって、それこそ2022年ぐらい? そうですね、21から23じゃなかったかな。 スクフェスも、スクフェス新潟の1回目も私は登壇させていただいて、マークさんもお話しされてましたよ。 僕も出た覚えが、はい、登壇した覚えがあります。 そうですよね。そんな思い出があるというか、一緒に写真撮ったりとか。 1回目だと新潟駅のすぐ近くのニーノっていう会場でお借りてやってて、その時1回目からご飯美味しかったですよね。 そう、すごくご飯と、サミンさんは酒飲まないけど日本酒にすごくこだわったイベントでしたね。 あ、のんちゃんもいらっしゃいましたね。美味しかったなって。のんちゃんも参加しました。 あ、いらっしゃってたんですね。 スクフェスに。 そこに出た感じ。 あ、本当ですか。そっかそっか。 お寿司美味しかったよね。 そうそう、今回も職人さんが目の前で逃げてた? 目の前で逃げてました。 逃げてましたよね、逃げて。 結構参加者も200人ぐらいって言ってましたもんね。 240ぐらいって言ったかな、オンラインで。 あの、寿司握る数って200人分握るの大変そうだなって。 あ、そういうこと? そうそう、すごいなと思いながら見てました。 はい、のんちゃんから。マークさんご挨拶できずと。 いえいえ、すいません。こちらも失礼しました。 そっかそっか。 まあ、お元気そうで何よりです。 ご飯、やっぱそう、お寿司美味しかったな。 おむすびも、ご飯も美味しかったけど。 おむすびはあれですよね、2日目の昼で出てきた。 あの、おむすびと豚汁が出てきたんですけど。 そうか。 カンファレンスのご飯が美味しいってすごくいいよなって思いましたね。 確かに。 なんかまあ、出てもお弁当が出たりっていう感じですもんね。 そうですね。あとはコーヒーブレイクがあるぐらいかな。 海外のカンファレンスだと、なんかこうスイーツが出てきたりとか、 クロワッサンが出てきたりとか、 なんかやたら食べ物が出てくるイメージありますけど。 あれとはまた少し、方向がちゃんと日本風というか。 すごいなんかよくデザインされていたイベントだったなって改めて思いますね。 はい、確かに確かに。 コーヒーも美味しかったです。 アノンちゃんからランチのおにぎりも最高、豚汁も。 あとお寿司は一人一皿までですって言ってましたね。 そうそうそう。 言ってましたね。 そうですね、そうですね。 綺麗になくなってましたね。 確かにね。 お寿司本当に美味しかったもんな。 また新たにいらっしゃった方のお名前をお呼びしたいと思います。 山本涼介さんとピースケさんとトモさんですね。 いらっしゃいませ。 いらっしゃいませ、どうもこんにちは。 じゃあ、内容の話いきましょうか。 はいはい、そうそうそう。 さっき内容の話してたんですけど。 なんかどれ聞きました? 僕はまず1日目のT和田さんの講演が良かったんですよね。 うんうんうん、じゃあまずそこからいきましょうか。 基調講演が和田拓人さんというソフトウェア開発業界ではとても有名な方が基調講演をしてくださいまして。 タイトルは2026年のソフトウェアエンジニューリングを考えるというタイトルではあったんですけど。 あれですよね、2024年、5年、6年ぐらいをザーッと振り返ったりとか、2026年がどういう風になっていきそうなのかみたいな、そんな話でしたね。 確か。 そうですね、ここ数年のこの界隈、コーディングとかAIエージェントとかで起こったことを拾ったって感じではあるんですけど。 それだけの相当な分量があったなと。 うん。 というイメージでしたね。 どの辺が良かったとか、印象に残ってる内容とかあったります? そうですね、なんというか全体的にこんだけ変化が激しいとついていかれないって思うQAエンジニアの人多いんだろうなって思いましたけど。 うんうんうん。 ある意味乗りこなしてる、乗りこなそうとする人と、ある程度しっかり使えてる人と格差じゃないですけど、あるのかなってちょっと思いましたね、話聞いてて。 確かに。 例えばAIエージェントをQAとかテストでどう使ってるかって話であるとか、最近の海外のAIツール事情で言うと、探索的テストをAIエージェントにやらせようとかっていう話があったりとか。 うーん。 まあ一昔前では100%無理だよね、それはずっと人間の仕事だよねみたいな風に言ってたところが、どんどんそのAIエージェントで少なくとも模倣はされてきてるように思えていてですね。 ちょっとなのでインパクトやっぱり大きいなって正直思ったっていうのがありますかね。 そうですね、そうですね。私どれが印象に残ったかな。 なんか2つぐらい印象に残ったキーワードがあって、1つはAIは増幅であって底上げではないっていう言葉が印象に残っていて、何でもかんでもできるわけ。 期待値としては、私たちの期待値としてはできなかったことができるみたいな感じで、ちょっと底上げっぽいほど期待してるんだけど、実際は増幅なので、あんまり質の良くないものが増幅されても別に質は良くないまんまだみたいな、むしろ悪化するみたいなニュアンスというかもあって。 カオス自動化してもカオスが回るだけでみたいな。 そうそう、そこが確かになって思ったりしました。 だから結局どう使いこなすかなのか、自分がちゃんと使いこなせないと、ただ使うだけだとしょうもないものが増幅されるだけになっちゃうのかなっていうのは、ちょっとショックというか、愕然としたというか、やっぱり学び続けなきゃいけないのかなっていうのは感じたりしました。 何だっけな、糸をちゃんと持てるのは人間だけなんですよね。そこがしっかりしていれば逆に言うと早く新しいものができるので、それはプラスなんでしょうねって思いますね。 糸っていうのはこういうことをやりたいとか、実現したいとか作りたいとかっていうこと? そうですね。こういうものが欲しい、だから顧客が欲しいものっていう話ありますけど、前提のインプット、糸のインプット、人間が欲しいもののインプットがある意味ちゃんとしていないと、もう中はブラックボックスなのでAIの中で。 何が出てくるか分からないなみたいな。管理しきれないなみたいな。アウトプットに対しての価値付けとか、逆に価値がないものが出てきて、それのレビューするとかの時間が無駄になってしまうなとか。 なんかいろんな人がいろんなこと言いますけど、AIはタイニーさんだっていう言い方をしてる人がいるらしいです。 なんかあるでしょ、ディスコードでそんな流れてましたっけ? 流れてました。 どうだったか。 要は、ちゃんとマニュアル化されていることはやるけれども、ずっとそこの現場に、例えばキッチンだったらキッチンに立ち続けている人ではないので、これお願いって言った人、昨日お願いした人と今日お願いする人は違うんだよね。 だからAIにも同じことを投げている。同じ課題を投げているけれども、対応する人は初心者だったりすると。 はいはいはい。 そういうイメージなんですけど、そういう特性を僕たちがこれから活かすことができればすごく強力なんだろうなっていうのは改めて思ったところかな。 少し止めどなく喋ってしまいましたが。 あともう一個印象的だったのは、2024年がプロンプトエンジニアリング、コンテキストエンジニアリング、ハーネスエンジニアリングの話を時系列でされていて、 2024年はプロンプトエンジニアリングの時代だったけど、2025年はコンテキストエンジニアリングになっていて、今は2026年はハーネスエンジニアリングになってきているよねっていうのも何となく分かっていたような気がするんですけど、改めてスライドで見てみると確かにそうだなっていうのが納得しました。 なんかそれぞれの時代を自分たちが時系列でまさに生きているので、そこで起こってたことって暗黙的には何となく分かっていたけれども、実際に言葉にされると結構変化激しいじゃんみたいな。 そういう風に思ったりしますよね。 すごい、ここ2年3年は激動ですよね、本当に。 変化の幅が大きいって言った方がいいのかな。変化は多分し続けてるんです。多分変化自体はどの世代もし続けてきたと思うんですけど、変化の幅、触れ幅みたいなのがちょっと大きいような、そんな感じがしますかね。 さみさんはこの2年ぐらい3年ぐらいで仕事の中でAIを使うようになったとか、そういう変化っていうのはあるんですか。 変化はありそうですね。 例えば僕らが一緒に仕事をしてた2021年とかの頃って、なんだろう、ロードマップエクセルで作ったりとかさ。 Miroとかで書いてましたっけ。 Miroとかで書いてました、懐かしい。スプレッドシートで書いたのをMiroにペタッと貼り付けたとか、そんなことしてたんですよね。今は多分全然違う方法を使うかなと思って。 もし今アリアルとしたらどうやって作りますか。 ロードマップ作りってことですか。 そうですね。 クロードでまず質問をしてもらいながら内容を、何ていうのか。 壁置きをしてもらうところから始まって、一回なんとなくアウトプットできそうだなと思ったら、そのままコンフル化なんかに出力してって出してもらって、クロードに。 あとはアウトプットのやつ見ながら周りの人と喋ってブラッシュアップしていくみたいな。そんな感じですか。 最初の手先を作るところを結構まるまるAIとの壁打ちとか質問とかやり取りでもって作るって感じなんですかね。 多分自分の中で課題とかもやもやしてることはあるはずなので、その内容をぶつけつつ、クロードに質問してもらうとかはやるかな。企画とか考えるときは。 うん。そうですよね。なんかすごいわかるなぁと思って話を聞いてたところですよね。そしてそれって前はできなかったことだと思ってて。 しかも誰か一人有識者を引っ張ってくるとかそういうことをしないといけなかった。 まさに私がマークさんを引っ張ってきてって感じですよね。 そうですね。僕が当時はサミンさんを一人で立ち上げられたチームを爆速で成長させるために入らせていただくっていう。業務委託で入らせていただくっていう形でしたもんね。 そうですね。まさに壁打ちをしてもらえる人でどういうふうに組織を作っていったらいいのかとか、あとは品質の戦略じゃないですけど、それをどういうふうに組んでいったらいいのかっていうのを一緒に話しながら、自分が相談できる人が欲しかったので。 で、マークさんにそうお声掛けして、お話しして、で、業務委託で入っていただいて。そうです。のんちゃんからそんな背景があったのかと今お便りいただいたんですけど、そうなんですよ、実は。 昔話をしている。 確かにな。それが、でもそれが今クロードで全部、全部というかまかないっていうのかっていうと、なんかそうでもない気がするんですけどね。 私の使い方があんまり上手でないという可能性は十分にあるんですけど、課題感とか、なんかここは問題だと思うとか、なんとなくこうしていきたいんだけどっていうものを言語化できていれば、クロードもじゃあこうしたらいいんじゃないですかとか言ってくれそうな気がするんですけど、 この言語化するまでは自分でどうにかしなきゃいけなくて、これまでのというか、人と喋ってると、もしかしたらちょっとコーチングとか近いのかもしれないんですけど、その喋ってるプロセスの中でなんか言語化できていくっていうのもあるのかなと思っていて、そのもやもやを言語化するというプロセスを私はまだクロードとはできていない。 ああ。なるほど。 なんか石モデルを思い出しますね。こういう話をしてると。形式値とか暗黙値とかっていうやつ。 何モデルですか。 石モデルって言ってSECIって書いて石なんですけど。 見たらわかるかも。 ゴホゴホって。それはSECI。 はいはいはいはい。 真中育次郎さんの方が書かれた。 っていうのがありますね。 まさに木和田さんのところのお話をずっと聞いてて、 僕が持った感想の一つが、AIを与えられたことによって、僕たちは市街地でF1カーを走らせようとしてるんじゃないかって例えで思いついたんですよね。 つまり市街地を車で走るのに、60キロとかでせいぜい走るわけですよね。車の速度。F1カーって300キロとか出るんですよね。 300キロを街中で出しても曲がりきれないわけですよ。って言ってぶつかったりとか、手戻りって言うと不具合が出たりとかなんですけど、 表面上速いんですよね。表面上速く見えるんだけども、自分の暗黙値になっているものを十分に形式化できている。 つまりF1カーを乗りこなせるだけの実力がある意味備わっているというか、そういう状態じゃないと結構乗りこなす、使いこなすっていうのが難しいじゃないか、じゃじゃ馬なんじゃないかみたいな。 ふうに思ったんですよね。 まさにそれを今までは、さみさんが僕とやってくれたように、ある意味経験がある人を捕まえて壁打ちをして、言葉を引き出してもらったりとか、そういうふうにして出していく。 つまり適切なスピードで市街地を丁寧に早く走るみたいな感じになっていたのが、AIですよってポンって乗ったときに、AIじゃじゃ馬なので、まずそいつを乗りこなせるだけの言語化を自分で先にしなきゃいけないというか、その負荷が現場に新たに生まれているのではないかみたいな、そんな感じの印象というか感想を抱いたんですよね。 確かに。なんかより一層言語化できるスキルというか、言葉で説明できる必要性っていうのが強くなったのかな。 そんな感じが僕はしますね。 AIは感情を持っていないっていうのが大きな違いなので、何言っても怒らないけど、逆に言うと言葉にできないことは認識してくれないというか、こんな感じがするんですよね。 だからドラえもんとすごいですよね。 感情あるし、泣いたりしますもんね。 ドラえき捕らえたって泣いてますからね。 だからあそこまでいくと、いわゆる想像的なというかクリエーションというのはちゃんとできるだろう。もちろん設定がロボットというだけでやっていくことは人間なんで、それはあれですけどね。 ありがとうございます。じゃあ他のセッションの話いきましょうか。 はいはい、そうですね。 なんかこれ良かったなぁみたいなセッションは、印象に残っているやつとかあります? 僕はね、えっと、レッドチーミング。 あー聞いてないやつだ。なんか今回聞いたセッション、多分マークさんとあんまかぶってない気がするんです。部屋でお見かけあまりしなかったやつ。 あーそうかもしれないですね。 これは佐々木良平さんのセッションで、AI製品のQAって何するの?レッドチーミング6軸で挑む安全性の守り方というセッションでしたね。 これはAIのガバナンスの話ですね。 大企業向けのAIテストツールとか、今僕がまさに扱っている頃だったりするんですけど、そういうのって暴走してもらっちゃ困るわけですよね。 ある意味ガチガチに管理されたじゃないですけど、一定のフレームの下で動いてもらったりだとかしないといけないんですよね。 佐々木良平さんは僕の前職のGlobisでQAマネージャーをされている方なんですが、このGlobisで作っているプロダクトっていうのが教育系のプロダクトです。社会人教育研修とかで使われるんです。 AIと対話をしながら学びを深めていくみたいなのがあるんですよ。その機能として。関係ない話を受講者がしようとしたら、ちゃんと本筋を戻さないといけないっていうのがあるんですよね。 例えば何でもいいんですけど、今回のコースであなたはどんな学びを得ましたかみたいな話をAIが投げかけてくれるんですよね。回答者が、今お昼ご飯はピザを食べてるんだって関係ない話をしたとすると、そうするとコントロールされてないAIはピザの話をしちゃうんですよ。 どんなピザを食べたんですか?ヘリは薄いんですか?厚いんですか?とか、上にトマトソース乗ってたんですか?みたいな話を聞いて進んじゃうんですけど、ちゃんとコントロールされたAIは、お昼ご飯の話もいいですが、今は学びの話をしましょう。もう一回聞きますねってループに入るという。 横道にそれることを許してくれないみたいな感じだったりするんですけど、そういうのを大抵立てて、どんな感じで考えて作ってきたかみたいなのを説明されてたんですよね。AIの安全性というところに立脚させて。 うーん。 なので、セキュリティに近いですよね、その領域としては。QA、品質保障といわれる、一般にいわれる幅広な世界の中でも、セキュリティというところにフォーカスした感じの世界で、ある意味、AIの壊し方に近いですよね。 ふんふんふんふん。 というので、非常に、なんていうか、僕の、自分のフルスナーの人の話だからあれですけども、非常に参考になったというか、面白かった。ちょっと特徴のあるセッションだったなと思いました。 うーん。そうですね。レッドチーミングとかも聞いたことなかったですし。 うーん。 そうですね。レッドチーミングは、ホワイトハッカーとかでやるやつですよね。実際の攻撃者の手法やり方、攻撃の仕方を模倣して、自分たちの組織の防御体制がちゃんとしているかというのをテストするやり方。 うーん。ペネトレーションテストなどを行うプロセス。 なるほど。 IPAからも手法ガイドが出てるんですね。調べると結構いろいろちゃんと整理されてるようですね。 ほんとだ。AIセーフティに関するレッドチーミング手法ガイドを公開。 ありがとうございます。 はい。 最近は、松野アキさんの実践メタモルフィックテストが知らないこといっぱい出てきたセッションでしたね。 どんな話だったんですか? あ、これか。 あ、キームさんだな。 初めてリアルでご挨拶しました。 お互いにアイコン、Xとかでよくお見かけしてたんです。 あの、イノシシのアイコン。 そうそう。 これ、説明できるほどは理解できなかったんですよね。 メタモルフィックテストっていうのが、ソフトウェアテストの勉強を深くされてる方は多分聞いたことある手法なんですけど、 それの、ちょっと頑張ってもうちょっと説明を試みてみますね、メタモルフィックテストって何かって。 普通というか通常のソフトウェアテストの機能テストと呼ばれているものだと、テストケースを書くときにこの画面でこういう操作して、 例えばお便りにテキストを入力して、したら送信収録のアプリのほうに表示されるみたいな感じで、 で、かっちりどの画面でこういうことをしたら、この結果になりますっていうのを書けるんですけど、 PCIのチャットとかイメージしてもらうと分かるように、必ずしも同じインプットとか質問を投げても、 違う結果が返ってきちゃうので、その違う結果が返ってきたのを見たときに、 これは果たして正しいのかどうなのか、テストを丸をつけられるのか罰になるのかっていう判断がすごく難しいというのがありまして、 メタモルフィックテストっていうのが、期待、違うな、結果、何かそのテストを行った結果を、 1個目の結果と次に行った結果を比較してどのくらい変わったかっていうので、 何かOKって判断するみたいな手法がメタモルフィックテストになってて、 なんていうんだっけ、っていう感じ?関係性を見るんですよね。 なんかいいであるかな。パッと出てこないな。 1回目に聞いた質問だったり、インプットの前提条件みたいなものと、2回目はちょこっとだけ変えるんですね。 なので、ちょこっとだけ変えると結果もこういうふうに変わるはず、あるいは結果は変わらないはずっていう期待値があるので、 そのビフォーアフターの結果を比較をしてOKかどうか、仕様の通りなのか、意図の通りなのかを確認するテスト手法のことをメタモルフィックテストと言います。 合ってますかね。 すごく面白いなと思って聞いていたのですけど、AIって非決定論的であるっていう話。これはもう結構日本のソフトウェアテスト界隈でよく浸透してきた言葉だなと思うんですけど、非決定論。 でもテストは決定論的じゃなきゃいけないから、ここでマッチしないねみたいな話があったりするんですが、今のお話を聞くと、一つの入力と出力の関係ではなくて、複数の横串にしてみるというか、 そういうふうに複数で見ることによって、入力がちょっと変わったら出力もこうちょっと変わるはずみたいな形になるわけで、出力が逆に大きく変わったら、これはおかしくないってなるわけですと。そういう話ですよね。 逆に入力がどんと変わってるのに出力がちょっとしか変わらなかったら、それも変だでしょうしね。 このセッションの中では、すごく具体的にこういうふうにやったらいいよみたいなお話をされてて、 例えば、エンティティ分析、キーワード分析とか論理関係分析とか結構内容は細かくて、細かくて難しくて、でもなるほどなというふうに思ったんですけど、何か分かりやすいのあるか。 同義語に置き換えても結果は同じになるか。 アキスさんは確か、その後ちょっと話してて、法律系、口頭でもお話もしたんですけど、法律系のプロダクトって言ってたっけな。 どうだったっけ。何を言うとしたんだっけな。 何かチャットボットみたいな感じで、情報を聞きます、インプットします。 それに対してシステムの方が結果を教えてくれる。 法令とか、いろいろその事例とか、ちょっと私法律の予告は詳しくないんですけど、いろんなものを聞いて答えを教えてくれるみたいなチャットとかの中で、今回の今ちらっと言った同義語に置き換えても結果は同じかとかだと、 そのままというか、言葉を変える。同義語で別の言葉で質問を投げかけた時に、ちゃんと同じ結果になるかどうかっていうのをチェックする。 それでシステムというか出してくる結果が妥当かどうかを判断する。そういうテストをやっているというお話でした。 なるほどな、みたいな思いました。 なんか面白いですよね。同義語に置き換えても、例えばそこの部分だけ英語に書いたりとかも成り立ちそうですし、あとは僕今ちょっとこのトークのディスクリプションをプロポーザルを見てるんですけど、 このセッションでこういう話をするよっていうアウトラインの手順を見てるんですけども、無関係な文を追加しても結果が変わらないかって書いてあって、これもなんか面白いなと思いました。 いつだったっけな。慶応大学で、慶応義塾大学でレポート課題を課しましたと。パワーポイント、PDFか何か長いのを学生に渡して、これを読んでレポート出してこいと言ったらしいんですけど、 そのPDFにはある仕掛けがしてあって、内部データで福沢諭吉について触れてたらしいんですよね。福沢諭吉だっけ、確かそうだと思うんですけど。つまり慶応大学の創設者だと思うんですけど。 そのレポートの中に福沢諭吉あるいはそれに関する内容が入っている人たちはAIに読み込ませたなって言って、見抜かれたみたいな。仕掛けをしてあったりとかって言ったらしいんですね。 これはむしろ無関係な文が追加されている。AIだったらこっちが強調されて読まれるであろうと書いたとしてたと思うんですけど。どの面をAIが読むかっていうことの試算になったかと思うんですよね。 考えると、ちょっと話に戻しますけど、プロダクトのテストにおいて無関係な文を1文や2文追加したところで福沢諭吉は出てこないよというのが、この観点として置かれているっていうのは結構面白いななんて思いながら話を聞いたところですね。 すごい細かく例とかも話をされてたので、今今すぐ使うかっていうと使うイメージはつかなかったんですけど、なんか困ったことあったら聞こうって思いました。 そうですね。なんかAIに投げて出力が何か返ってくるみたいなプロダクトには結構使える手かもしれないですね。ほらテストケースって僕らはワンパターンしか作んないじゃないですか。一つのものに対して。 正常系だったら1を入れるとか、1.1を入れたら1.2を入れるってやらないじゃないですか。1.1を入れたときの結果と1.2を入れたときの結果って、それは1.1を入れたときには1.1なりに返ってくるし、1.2を入れたら1.2なりに返ってくるよねっていうのを暗黙のもというか前提としたわけですけど、AIにとってはそうじゃないかもしれないですよね。 そうですね。結果の変わり方が同じように変わるわけじゃないというか、まさに先ほどの非決定論的な話かなと思います。 そういうとこも結構幅広に見ることも大事になってくるというか、そういうのが起こるよねってことを認識した上で、僕らはこれからテスト活動、品相書活動をしていく必要があるんだろうななんて思いながら、ちょっと今考えてたわけですけど。 なかなか大変な時代ですね。テストのエンジニアも結構専門性を問われるというか、もちろんそうなんですけど。 そうですね。どうなるんだろう。深くなってくるのかな。ちょっと前はすごく広いなっていうイメージを持ってたんですけど、QAの。QAエンジニアのお仕事とか品質保障って言われると、広い海を頑張って泳いでいかないといけないんだなって思ってたんですけど。 どうなるんだろうな。なんか深さみたいな。それこそ例えばセキュリティとか、あと今の話のAIプロダクト特有のリスクだったりを理解して評価できるようになるみたいな。なんか深さも必要なのかなとか。 そうですね。なんか骨太な知識がこれから必要な感じがしますね。物を深く考えるというか。なんか哲学チェックになってくるんですけど、テストってなんだろうみたいなところを見つめて、考える必要がもっと出てくるんじゃないかなと。僕なんか思いますよね。 いろんな人がいますよね。僕は昔からテストってなんだろうみたいなことを考えるにあたって、海外のカンファレンス行くのが好きだったんで、海外の話をいろいろ広く拾ってきたりとか、翻訳したりとかして拾ってきましたけど。 例えばブロックリさんとかは、彼は日本の品種当初の歴史の話を深掘って、もちろん資料化して発表されたりとかしますし、温庫地震ってやつですよね。古きを尋ねて新しくする。なんかこう、引き出しがちょっと多い方がいいかもしれないなっていうのは思います。どっちにしたって。 物を考えるにあたって、考える必要が出てきてしまったので。 いろんな種類の知識とか。 そう、種類の知識とか。ちょっとしたメタ認知かもしれないですね。今やっているプロダクトはこのやり方をしているけども、このやり方はここの現場だからこのやり方をしているけれども、例えば他のところに行ったら違うやり方をするんだろうなとか。 この現場にはこういう特徴がある。例えば、エビデンスを全部取るっていうことを約束されているからエビデンスを全部取ってるけども、例えば会社によってとか現場によってはエビデンスを取らなくても、失敗したときだけエビデンスを取るような会社もあるよねとか。 例えばですけど、そんな感じで今やっている自分の仕事が全てって思うのではなくて、今やっている自分の仕事大事なんだけれども、自分のやっている仕事とか取り組みっていうのが、1段階レイヤーを少し上にしてみたら、テストの領域の中でどういう特徴があるのかみたいなのを少し幅広に考えるというか。 地図に自分のいる位置をピン止めするというか、そういうことがもしかしたら必要になってくるかもしれない。そうすると、例えば何年かしたときに前に自分がやっていたテストの仕事は、このテストの地図でいうと川を越えた北のほうだった。 やっぱり厳しめのところだったけれども、現在のところはどちらかというと緩い。品質っていうものをすごく厳しくは見ないけれども、ちょっとスピード重視で、あとAIを使っていっているので、少しやり方が変わってますとか。そんなふうに繰り返しますけど、幅広な視点でものを考えていく。そのためのヒントになるっていうのはこういうイベントなのかなって思ったりします。 そうですね。確かに。 確かにそうですね。いろんな事例とかを聞いてたりすると、自分の組織だったり課題感だったりと近いところもあればそうじゃないところもあって、いろんな問題があるんだなとか、それに対してこういうふうに解決されてきたんだなみたいなのを知ると、自分の地図がちょっと広がる感じはしますね。確かに。 そうですね。そう思います。もう地図を作っていくとかっていうのは、サミンさんが昔から言っているQAは懐中電灯だっていう思想に通じるような気がします。 確かに。 あれだって、プロダクトという地図を照らしていく。照らして地図を作っていく取り組みだと思う。 そうですね。プロダクト作りみたいなところのプロダクトが大きい大陸だと思っていて、その未知の大陸を開拓していくっていうのがディベロップ。 開発するソフトウェア開発の開発もディベロップメントって言うと思うんですけど、それと合わせてというか、まさに整ってない土地を耕すのもそうだし、暗いところを穴掘っていくのもそうだし、トンネル掘っていくのもそうだしっていうのも。 なのでQAはそういう一歩前を照らす懐中電灯のような役割でありたいなって、いつも言ってます。最近は言ってないですけど、いつも思いながら仕事してますって話です。 いや、すごく大事な足やかなと思いますね。そんなところです。だから今のそこの仕事に全力投機はもちろん大事なんですが、自分がどこにいるのかっていうとこ、逆にも自分が今分かんないとこは何なのかとか、そういうのを理解するとそっちを照らして進んでいこうって話もできるし。 メタファーな話ばっかりしてると話が空中線になっちゃうんですけど。そういういろんなことを考える。おいしいご飯を食べながら考える。いい機会になりましたよね。そこに着地したい。 ありがとうございます。締めようと思いますが、宣伝とか何かあります? 宣伝ですね。 お知らせ、告知。 そうだな。まずボイシーさんのほうがあるんですか?僕ら先にあったかどうか考える。 あるかな。今度、第4回のオフ会を企画中でして。 いいですね。 ただ熊本とか九州でやる予定なんですけど。7月の25だっけ6だっけの土日のどっちかにしようかなと思っててですね。もしよかったらぜひ九州の旅行がてらですね、来ていただけると嬉しいなと思っております。 また何か決まっていったらどんどん。まずはプレミアム放送の中で今お話ししてるんですけれど、かっつりというか決まってきたらレギュラー放送でもお話ししていこうかなと思ってます。 のんちゃんからマークさんボイシーやってくださいってお便りきました。 ありがとうございます。前にもサミさんにお誘いを熱烈にいただいてたんですけど、2人目の熱烈なお誘いがきました。 マークさん、一人側でより対談というか誰かと一緒にやったほうがいいかもねってお話ししましたね。 そうですね。一人ごとになると結構思考がとちらかっていくので、見てる人がつらかろうというところもありますけど。 ちょっと前向きに検討できたらなというふうに思ってます。 ぜひ。ソフトウェア品質とかテストに関するボイシーチャンネルを5個か6個ぐらいできたら、作れたらいいなっていうのが個人的な目論みでございます。 よかったらぜひ。マークさんの声と話好きですとのんちゃんからコメントいただきました。 ありがとうございます。とても嬉しい。では僕の方からも一つ告知を許させていただきたいと思うんですけど、 インターネットで調べて出てきたので公開されてると思います。僕今UIPassっていう名前の会社にいるんですけども、 こちらの会社で6月9日火曜日に大手待ちでセミナーをやります。 タイトルがUIPassエージェントテストセミナー。テストをボトルネックから推進力へAI時代のソフトウェアテスト戦略っていう名前がついています。 僕の今の仕事というのが、いわゆるAIエージェントを組み込んだテストプロダクトを広めていくっていう仕事をさせていただいてるんですが、 UIPassという会社におりまして、そのUIPassでのテスト製品をもうちょっと軸にするわけですけども、 いろんな話を広げていこうかなと思うので、正確なソフトウェアテストの話ということで場を持ってもらっているので、 いわゆるソフトウェアの開発のテストのほかに、いわゆるバックオフィスとかを支える運用側のテスト、 運用のテストっていうところにも触れることができたらいいかなというふうに思っています。 もしよかったら、これイベント登録ページありますので、探していただけるといいです。 あれが見つからなかったので、リンクをXで送ってください。 そしたら、ボイスを。 そうですね。 はい。では、いいお時間になりましたので、最後というか途中からリリカルさんもいらっしゃってました。ありがとうございました。 リリカルさん、ありがとうございました。 はい。それでは今日はこのくらいにしたいと思います。 本日はいつもと比べると長い時間だったんですけれど、ありがとうございました。 はい。どうもありがとうございました。 ありがとうございました。 では、では。 お願いします。 # #509のコメント返し🥰 コメント返しのコーナーです。今回は509話目。 やる気が起きない時こそ、取捨選択のコメントをお返しします。 コメントは、Kouheiさんからいただいております。ありがとうございます。 おはようございます。やる気が出ない時こそ、取捨選択してやらないことを決める。 これ、めちゃめちゃ重要ですよね。 私もやる気が出ない時は、ちょっと気分展開に散歩に出かけたり、走ったりしています。 やっぱりその場所ややることを変えると、不思議とやりたいことがどんどん湧いてくるんですよね。 ということで、コメントありがとうございます。 でもいいですね。散歩とか走ったりとか、気分展開。 確かに環境が変わると、気持ちも入れ替わる、切り替わって、 よし、また頑張ろうかななんて思えることもあるので、いいですね。 私も基本的に運動があんまり好きじゃないので、あまり外に出るのは難しいんですけど、 確かに環境を変えるという意味では、めちゃくちゃ散歩だったり走ったりっていうのはいいなというふうに思いました。 ありがとうございます。以上、コメント返しでした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 明日の放送はですね、クリップボードの話をしようかなと思っています。 パソコン操作する時にクリップボードの履歴機能というかとか使ったりしてますかみたいなそんな話になります。 まあ業務ハック的な感じでしょうか。 今回の放送が役に立った今日も聞きに来たよの合図でハートマーク、いいねを押していただけるととっても励みになります。 またぜひマークさんへのコメントだったりもよろしくお願いします。 それではまた明日お会いしましょう。ごきげんよう。