# タイトルコール ようこそ、世界が広がるソフトウェア品質展。 このチャンネルでは、技術エンジニアのサミーが、 ソフトウェアテストやソフトウェアの品質保証を中心に、 日々奮闘していることや考えていることをお話しします。 毎日お昼の12時30分に配信しています。 ゲストの方やリスナーのあなたと、 テストや品質の世界を広げていきます。 # MagicPodを3ヶ月使ってみて こんにちは。QnEngineerの紗美です。 今日もテストしていますが、今回はマジックポッドを3ヶ月使ってみての感想をお話ししていきます。 構成としてはですね、最初にやったこととか実績を一言でお話をして、 あとその後うまくいったこと、つまずいたことを次チャレンジしてみたいことについて順番にお話ししていきます。 最近マジックポッドの導入と活用の事例についての記事を書いたので、そちらのリンクをですね 概要欄に入れておきますので、合わせてご確認いただければと思います。 はい、ということでまず最初マジックポッドを3ヶ月使ってみました。 そしてその結果どうだったのかという実績の話なんですけれど、作ったテストは20くらいですね。 AndroidとiOSと両方作っていたので、そうですね、10機能を作ろうということで、 ログインとかログアウトというのがそれぞれ1ずつでカウントしているんですけど、 ビジネス的にインパクトの大きい機能かつ自動化しやすそうな機能というところをピックアップしてまして、 10機能をかける2プラットフォームでだいたい20テストを作りました。 あとはですね、1つのテストを作る時間は平均して2時間です。 早ければAndroidとiOS2つで2時間で終わったこともありますけど、 引っかかると結構ずっとつまずいちゃったりもするので、まあ平均すると2時間ぐらいかなというふうに、そんな感じです。 あとはですね、手動のリグレッションテストをどのくらい削減できたかというと40ケースぐらいですね、削減していて、 手動で毎週リグレッションテストをしているんですけれど、 そのうちの40件は手動のリグレッションテストケースから削除と言いますか、 NT Not Testedというふうにテストの対象外として、代わりにMagicBotでテストを実行しているという感じです。 続いてまずうまくいったことからお話ししていきます。 3ヶ月やってみての感想と言いますか、テストの作成のスピードというのが上がったなという感触があります。 もともと割り返しテストは作りやすいんですけれど、さらにその共有ステップを活用したというところもあって、 かなりテストの作成のスピードが上がってきたなという実感があります。 具体的に1個お話をしますとですね、大体その1テストの流れというのが、アカウントを新規作成をして、 チャンネルのページに飛んで、何かしらアクションをする、例えばプレミアムリスナーに入るとか差し入れをするとか、そんな感じですかね。 アクションをして、アサーション、例えばプレミアムリスナーに入ったらプレミアム放送、その月のプレミアム放送が再生できるよねというところでアサーションをする。 差し入れだったら差し入れ購入できたよねというところでアサーションをするというアサートをして、 その後、アカウントを退回して終わるというのが大体の一連の流れになっています。 この共有ステップの活用という意味だとですね、まずアカウントの新規登録というのは共有ステップにしています。 活用といいますか、メールアドレスでアカウント登録する形なんですけれど、現在時刻を変数に入れられるので、 メールアドレスのプレフィックスに現在時刻を入れることで、毎回異なるメールアドレスを生成してアカウントを作成することができます。 こんな感じでですね、まずアカウントの新規登録という共有ステップがあります。 続いてですね、あとはよく使うもの、アクションステップを共有ステップにしているんですけど、 具体的に言うと、そのチャンネルページに飛ぶまで、ログインをした後からチャンネルを検索してそのチャンネルページに開くというところまでは共有ステップになっていますし、 あとは書き回りのテストだと、クレジットカードの情報登録があるので、そういうクレカの情報登録というので共有ステップにしていたりとか、 大会の処理も毎回どのテストでもやるので、共有ステップにしていたりします。 なので、新しいテストを作るぞってなったときに、まずその共有ステップで新規登録から始まって、他にも使い回せる部分とかがあれば共有ステップをどんどん追加していってということをやっていたりします。 ここまでがうまくいったことということで、共有ステップを活用してテスト作成のスピードが上がったなというふうに感じています。 続いて、つまづいたことですね。これは色々あるんですけれど、一つ目は最初のステップで落ちる。これはプロダクト側の問題と言いますか、原因は何となく分かっているんですけれど、 そこで最初の画面を開いて最初の要素が見つかりませんというので落ちちゃうということが結構ある。2回に1回は言い過ぎかもしれないんですけど、結構あるので、これがなかなか困ったなというのがあります。 最初のステップ画面だけじゃなくて、いろんなところでこれこれという要素が見つかりませんでしたって落ちちゃうというのがよくあるかなと思うんですけど、つまづいています。 まだそこについては明確にこうしたらいいというところまでの自分の回はまだ見つかっていないです。 要素の指定方法を変えたりとか、タップするという操作の前にその要素があることを確認するとか、表示されるまで待つみたいな大対策はあるんですけれど、 それが起きる箇所というのが毎回同じだったらその部分だけタップすればいいんですけど、そうじゃないような気もしていて、いろんなところで落ちているというのが今の私の解像度なので、どうしたらいいんだろうなというのはつまづいているところです。 2つ目、3つ目とかなり関連はしているんですけど、前まで前回のビルドではうまくいってたんだけど、ビルドが完結するかもわからないですけど、急に文字入力がうまくできなくなっちゃうということもあったりします。 1個具体例で挙げると、クレカ情報の入力という共有ステップを作っているんですけど、そこでクレジットカード番号欄にクレジット番号を入力するという16桁を入れるんですけれど、 うまくいってたのになぜか急に最初の1桁だけしか入力されなくなるとか、そんなことが発生して、こちらはヘルプページに文字入力がうまくできない場合みたいなページがあって、そこを参考にしながら入力の前に1回項目をタップするというオペレーションを入れたりとか、 あるいはリトライを1回あるいは2回にしてもう1回試してみるのはどうかという形で、いろいろいくつかアイディアというか持っているので対処法が、それを見ながら1個ずつ試しながらこれならうまくいくなとか、実際やってうまくいったのはリトライですね。 リトライを1回にして、1回目は失敗するんだけど、2回目でうまく16桁入力できるみたいなことが、そんな状態だったりします。 この件でちょっとなんか嫌だなって思うのが、MagicBotを実行するときに単発っていうのかな、テストを作りながらそこの部分だけ実行するとかっていうときと、 あと一連の1テストケース、1テストを最初から最後までバーって実行するときがあるんですけど、そのときにちょっとなんか挙動が違っていて、挙動というか、 このクレカの番号の件で言うと、この単発でその1テストの中のテストケース、ステップをいくつかだけ実行した場合って、クレカ番号欄に値を入れようとしたときに文字のキーボードが表示されてたんですね。 1テスト全部通して実行したときは、数字のキーボードが表示されてたんですね。ちょっとこれが関係あるかどうかわからないんですけど、そんな動きの違いもあったりとかもあって、 うまく数字が入れられないのかな、どうなのかなとかっていうのはちょっと挙動の違いを確認しているときにふと思ったりもしました。 つまずいたこと4つ目はですね、OSバージョン、違うOSバージョンだと落ちることがあるっていう点ですね。これもちょっと最近遭遇したばっかりなので、まだどうしたらいいかっていうとこの明確な対処法っていうのは見えてないんですけれど、 特に例えばiOSのアプリ外の操作っていうんですかね、キーボードを閉じるためにダンという部分をタップするとか、そういう操作を入れてるときにOSのバージョンが変わると、そんな要素はないよって言って落ちたりしてるように見えてます。 なので条件分岐とかを入れることになるのかな、この絵が表示されてるときはこれをするとかっていう感じでちょっとOSバージョンが違ってもうまく進むようにっていうのはしたいなというふうに思ってます。 はい、ここまでがつまずいていることについてお話をしました。 # 次にチャレンジしたいこと 最後、次にチャレンジしたいことなんですけど、とにもかくにも安定運用ですよね。 一旦、ビジネスインパクトがめちゃくちゃ高い機能についてはテストを作ったので、 もちろんそのテストの中身のアップデート、メンテナンスというか、もっとより良いようにとか、Qステップ化するとか、そういうところもあるんですけれど、 今回ここまで作ってきたテストがフレーキにならないようにアップデートするというか、やっていきたいなと思っています。 現状、10機能×2プラットフォームで大体20テストを作ったんですけど、 安定的にほぼ毎回成功するのって、ログインとログアウトの2×2プラットフォームの4テストぐらいしかないんですよね。 他のテストって今のところほぼ毎回失敗しているので、まず最初に一括実行でAndroid、iOSそれぞれ10テスト分ずつを流すんですけど、 その実行結果を見て、大体ログインとログアウト以外は落ちていると。 新規登録はたまにうまくいくときとうまくいかないときと、みたいな感じであって、 その結果を見ながら、まずは単発でもう一回マジックポート実行する、それで成功するかどうかを見てとか、 それでもダメだったら諦めて、本当に自分の手で手動で動作確認するというのが正直現状だったりします。 なので、フレーキになっている部分を一つずつ潰して、安定的に成功するようにするというのがまず次チャレンジしたいことですね。 そうすると、CNCDに組み込むなのか、新しいビルド、次のリリースビルドが作られた、配布されたタイミングで、 それをトリガーにしてマジックポートでのテスト実行をスタートするという、そういう流れ、自動実行まで持っていきたいなというのを考えています。 # 今日のほっこり話🎂 今日のホッコリ話です。ロールケーキの話をします。このチャプターに画像を貼ってあります。 先日ですね7月の16日かなの夜に、あのデブサミのリハーサルに行ったんですよね。前日に。 で、建物JPタワーだったかな。統計機から割と徒歩1分くらいのところなんですけど、 あの建物の1階に、何だっけ、あのフルーツ屋さん、せんびき屋とあとジイチロウっていうバームクーヘンで有名なお店が目に入ったんですよね。私スイーツすごく好きで。 で、帰りにリハーサル終わってから夜ちょっと寄ってですね、なんかどっち買おうかなーっていうところで、バームクーヘンじゃなくてですね、ロールケーキが美味しそうだったのでロールケーキを買ってみました。 ロールケーキの生地の部分が結構、なんだろうな、生地の密度があるっていうんですかね。 私結構普段食べる好きなロールケーキのタイプはスポンジめちゃふわふわみたいな感じのが好きなんですけど、それとはちょっと違って、ちょっとバームクーヘンを確かにどこか思わせるような、割と密度のあるスポンジになってます。 あとは上にかかってる砂糖なのかな?なんか表面の感じがですね、感じというか味が試食でいただいたバームクーヘンとなんか似てるような雰囲気を感じました。 ということで甘いものを食べてめちゃハッピーです。以上今日のほっこり話でした。 # 次回予告 今回も最後までお聞きいただきありがとうございました。 次回は音声LTをやってみたいという話をします。 先日参加したジャストなどにいい刺激を受けまして、 音声だけでLTってどうなんだろう、ちょっとやってみたいな、みたいなことを考えています。 今回の放送を聞いて、なるほどな、確かにな、学びになったなと思った方は、 是非、画面右下のハートマークでいいねを押していただけると、とても励みになります。 SNSや口コミでのシェアも是非よろしくお願いします。 それではまた明日。お会いしましょう。ごきげんよう。