# AIに、画面を見せるだけでExcelマクロを自動生成できる！Gemini 1.5 Pro AIにExcelの画面を見せながら、喋って指示をするだけで、Excelマクロ、VBAを作ってくれて自動化ができる時代。 おはようございます。ExcelとAIで人生を自動化して楽にするラジオ、建林純です。 先日ツイートしたんですけども、動画を理解できるGemini 1.5 ProというGoogleのAIがありまして、これにExcelマクロを作らせてみようと思って実験をしてみました。 具体的にどうやるかというと、Excelの操作画面を見せながら、こういうマクロを作ってほしいんだよということを説明して、 それで出来上がった動画をGeminiにアップロードして、それを元にマクロのコードを書いてというふうに命令するんですね。 すると、なかなか良い線を行っているコードを書いてくれて、これは新しい世界が見えたなと思いますので、その内容とか結果をシェアしたいと思います。 これ何が凄いかと言いますと、Excelを自動化するマクロなんですが、プログラミング言語のVBAというものを書く必要があると。 そのコードを書くためにAIを活用する、例えばChatGPTに書かせるとか、そういったノウハウは私の書籍なども書かせていただきました。 ですがあくまで今までは文章で命令してコードを書かせなきゃいけなかったんですね。 どういうマクロを作ってほしいのかを全部文章化して要件を伝えなきゃいけない、これが結構大変だったわけです。 ところがですね、それが要らなくなるかもしれないということをですね、GoogleのGemini 1.5 ProというAIはですね、動画を解析することができるということで、 動画の中で言っていることが分かる、動画でどんな操作をしているのかが理解できる、というところが特徴なんですね。 ということはですね、長い文章で説明をしてマクロのコードを作ってと言わなくても、動画でExcelの画面を見せながら、 マイクに向かって喋って説明して、こういう感じのマクロ、こういう動きを作って、というふうに説明をすれば、めちゃめちゃ簡単にマクロを作れるんじゃないか、というふうに思った次第で実際にやってみたんですね。 というのも最近マイクロソフトさんが発表したらしいんですけど、RBAソフトのPower Automateというものがですね、 喋りながら画面を操作していくだけで動きをレコーディングして自動化できるよ、という機能を発表されてたんですよ。 それを見てですね、じゃあマクロVBAでも似たようなことができるんじゃないかなと思ったんですね。 ということでこれからレポートしたいと思います。 # 扱ったExcelデータと、動画の内容 はい今回の題材どんな感じなのかというと、自動車の燃費の記録みたいなデータを適切な形にデータを成形するということを自動化すべくマクロを開発に至りました。 具体的にはこれ私のリアルデータなんですけど、車のガソリンを入れるために毎回燃費を記録するために日付と車の累積の走行距離と1回にガソリンを給油したリッター数、そして給油にかかったお金 これらを記録していたんですね。過去にはiPhoneのアプリでそういう記録ができるアプリがあったので、それで記録を捨てました。 ところがそのアプリってちょっと欠点がありましてアプリ上からデータをエクセルに落としたりできないんですよね。 なので困っていて結局画面のスクショをどんどん撮っていて、そのスクショ画像をチャットGPTに文字起こしさせて一覧データを1年分ぐらい作っていました。 ですがこのデータがですねちょっと問題がありまして、スクショを見ていただいた方がわかりやすいと思うんですけども、データ分析に適した書式になってないんですよね。 例えばB列のところにオドメーター括弧増加距離って書いてあって、つまり累積の走行距離と前回からどのぐらい走行距離が増したのか、この2つのデータが同じ列に入っちゃってるんですよ。 エクセルのデータ分析の原則としては1つの列には1種類のデータしか入れない方がいいんですね。 なのですがチャットGPTに作らせたデータだとB列に2種類のデータが一緒に入っちゃってると。 同じようなことがD列にもあって、給油金額と括弧リッター単価という風に書いてあって、これまたですね2種類のデータが1つの列に入っちゃってると。 それはですねデータ分析に適していないので、これをちゃんと2つの列に分割させると。 これをテーマにですねマクロを作りたいなと思ったわけです。 実際に動画を収録してジェミニのAIに対するこういう操作をしてこんなことを自動化したいんだよということを収録した動画がツイッター上にも上げてありますのでちょっと今から流しますね。 ボイシーの方だと音声しか聞こえないと思うんですがそれはご了承ください。 ジェミニ君にお願いがあるんですが、こんなマクロ、エクセルマクロのコードを書いてほしいんですよ。 今から手順を説明しますね。まずこのシートなんですけど、このシートをコピーして複製してください。 新しいシートでですねデータをですね前処理してほしいんですね。 まずB列に関して、B列なんですがこのオドメーターの値と増加距離が同じ列に入っちゃってるんですよ。 これを分割してほしいんですね。 長いのでちょっとこの辺りにしておきたいと思うんですけど、大体こういう感じでブツブツと喋りながらですね、エクセルの画面を実際に見せながら画面録画をしたというものが2分40秒ほどの短い動画でした。 これをジェミニ1.5 Proにアップロードして、3種類試したんですけど、命令をしてマクロのコードを書かせてみたということですね。 実際どうだったのかをチャプターに分けて説明していきたいと思います。 # まずは丸投げで依頼してみた場合 まず第一段階としては丸投げで依頼するという感じですね。 いろんな方法を試したんですが一番最初にやったのが、とにかく動画で説明したのでその動画に 従ってマクロを作ってくださいという丸投げな命令をジェミニにしてみました。 こちら結果から言いますと全然ダメという感じでしたね。 実際行動を見てみるとですねかなりひどい行動になっていました。 具体的にどんな感じかというとですね マクロの記録という機能と同じような感じなのかなって感じですね。 マクロとかVBAの学習を経験された方とマクロの記録という機能は使ったことあるかもしれません。 マクロの記録で作られる行動って経験者から言わせるとあんまり良くないよということがよく言われています。 なぜかというとですね画面の操作をそのままコードに起こしているだけだからなんですね。 で今回ジェミニに動画をアップロードしてこの通りにやってと丸投げした場合だとそんな感じ マクロの記録みたいに画面上のエクセル操作されているものをそのまま コードで再現しましたみたいな結構無理なコードが作られていたんですね。 なのでちょっと丸投げだとダメだなというふうに思いました。 具体的にその動画をアップロードするんだけど動画をどのように解釈してどのようにコードを組み立てて欲しいのかということをもう少し丁寧にプロンプト 命令文で説明しなきゃいけないんだなというふうに思ったんですね。 というわけでいくら動画を理解できるAIといえどもですね丸投げで動画だけ見せてもあまり良いコードが できないという結果だけわかったので次にですねもう少し工夫してみたという方法を紹介します。 # 文字起こし→コーディングさせた場合 はい次のステップとしてやってみたのが動画をアップロードしてですね 最初に文字起こししてくださいつまり音声を文字起こしして私が言っていることをですね まずは書き起こしてくださいとその上でそこで私が言ったことをもとに コードを書いてくださいというふうに命令しました そうするとですね結果としてはそこそこマシな結果になりました まあ間違いは結構あるんだけどそこそこマシになりました 一つ前のやり方よりはかなりマシになりましたね 具体的な命令文はこんな感じです Excelマクロを作成する依頼の動画をすべて文字起こししてください 次に上記の文字起こし通りのVBAをコーディングしてください コードは最後まで完結するように出力っていう命令文ですね でジェミニ1.5プロのすごいところは動画をアップロードしたらそれを文字起こし テープ起こしみたいに書き起こししてくれるんですね字幕みたいのを生成できるんですよ でそれで私が動画内で説明したことを書き起こして文章化してもらえば そこで言っていることが大体何を言っているかがジェミニ側にも伝わるだろうということですね でその文字起こしで説明したことを参考にね もちろん動画内でのExcel操作なんかも参考にしながらコードを書いてくれたわけです 結果としてですね実際そのままコードを実行してもエラーになって止まってしまうような コードでした なのですが少し手直しをしたりですねその後のやり取りをしながらね ジェミニにここは修正してとかここはエラーになるよというやり取りをしながらだったら動く ような行動になるかなっていうものまではできました ただ一番痛恨のミスだなと感じたところがあって動画で言っていたことをあまりにも 間に受けすぎてしまってその通りにコードを書いてしまってるんですね 具体的にどんなことかというと私が動画の中で説明したのは 最初の1行目のデータを例にしながらこういうデータをさあこういうふうにしてほしいんだ よねっていう感じで説明したんですね その時にですねここに例えばね プラス673みたいな値があってここは別のセルに転記してほしいんだよねみたいな 具体的数字も例に出しながら言ったんですよ その結果ジェミニがそれを数字を間に受けてしまったのか コードの中にも具体的なプラス673という値を直打ちで打ってしまっているんですよね 本来であればこちらの意図としてはですねこの1行目をデータを例として説明したんだけど そこは別の行だと全部値が変わっていくからそこは可変しながら最後の行まで処理してね ということを伝えたかったんですけどそこが例であるということが伝わってなくて 具体的な数673という数値をコードにベタ打ちされてしまっていたということでどうやら これは値を1行ずつ可変しながら最終行までやってほしいというこちらの意図がちゃんと 伝わってないなということが感じました これはね自動処理をしてほしいというこちらの身としてはここが理解できていないことは かなり板出だなぁというふうに思いました 次のやり方が一番精度が高かったので次のものも聞いてみてください # まず要件定義してからコードを書かせた場合 はいそして最後の方法です。最後の方法は一番良い結果が出ました。方法としてはまず要件定義してください。 その要件定義をして書き出してください。その要件をもとにコーディングをしてくださいという順番でやらせたということですね。 その結果ですね、かなり良い線いっているコードができたんですが、そもそも要件定義の一部が間違っているという部分がありました。 それはね、要件定義してくれた部分を少し自分で指摘をしてですね、ここはこう直してねと言えば済む話なので、方向性としてはかなりマシかなと思いました。 要件定義って何なのかというと、そのプログラムを作るときのどんな機能やどんな目的なのかということをできるだけ細かく明確にするということですね。 例えばデータを単純にね、データを整形して綺麗にしてと言っても、綺麗にって具体的にはどのデータをどんな風に形を変えてほしいのかというのが不明確ですよね。 そのあたりを、例えば今回の例であればB列の値から何々括弧で膨られた部分の数値のみを抜き出し、それが単位は削除し、C列に新しい列を追加して転記するみたいなそういう細かい単位で要件を明確にするといったことになりますね。 それを明確にさせた上でコードを書かせた結果、だいぶ今までよりマシなコードができました。 具体的な私の命令文はこんな感じです。 この動画ではExcelマクロを作ってほしい要件を説明しています。 動画から要望を完全に理解し、要件定義を行ってください。 要件を詳細に書き出すこと。 その後、要件を満たすVBAコードを書いてください。 といった具合ですね。 その結果、要件を把握して明文化してくれた上で、具体的なVBAのコードをジェミニが書いてくれたわけですね。 その実際の内容については、このチャプターにリンクを貼っておきますので、そこでスクリーンショットを見ていただくことができます。 結論から言うと、一部、要件定義の時点で間違っていました。 前回のチャプターでも話したように、例えば具体的な数字を動画内で673とか言ってたんですが、その具体的な数字に引きずられて、結局のところ、その要件定義の文章の中でも673を引くなどと、ベタ打ちに近い感じですよね。 具体数をその要件に書き出してしまっていたんですよね。 そこが惜しいというか、痛恨のミスだなと思いまして。 そもそもこのマクロを作ってほしい趣旨なんかを考えれば、具体的な数をそうやって引くということがおかしいということが自ら気づけるとは思うんですが、そこまでの見直しはしてくれなかったみたいですね。 もしかしたら、命令文の中に矛盾などがあったら、ちゃんと本マクロの目的に沿うように正すように自己解決してくださいみたいなことも命令文に書いておけばできたのかもしれません。 ですので、ここについてはプロンプト、命令文がまだまだ練り足りなかったなという感じですね。 あと大きなミスとしては、B列の右に列を挿入ということを書いてくれてはいるんですが、コード自体が間違っていて、Bにインサートというコードを書いてしまっている。 実際にインサートというのを挿入すると、Bの左に入っちゃうんですね。 右に入れたいと書いてくれているのに、左に入ってしまっているというのは、ちょっとジョンボなミスだなという感じがしました。 それ以外に関しては、出来上がったコードを手直ししたり、もしくはジェミニと細かくやり取りをして、ここを修正してとか、ここは間違っているよみたいなことをやり取りしていけば、目的にたどり着くことは不可能ではないかなという感じがしました。 次のチャプターでまとめます。 # まとめ はい、それでは最後にまとめます。いくら動画をアップロードしてその動画を解釈できるAIといえどもですね、動画を丸投げしてこれでマクロ作ってだけではダメだなということが検証の中でわかりました。 やはりですね、動画をどんなふうに解釈してどういうふうにコードを書き起こしてほしいのかみたいなことまでは命令文で調整していく必要があるのかな。 今回のはかなり簡単な命令文で行ったんですが、より詳細にどんなふうに書けばいいのかということをカスタマイズしていけばですね、実用に足るようなGeminiの動きができるんじゃないかなと思いました。 あとこの動画とかね、喋ったことを解釈してくれて、それでコードを書いてくれるということの価値について考えてみたんですが、やはり最後の要件定義をGemini側がしてくれるというのは大きいなと思ったんですね。 というのも、やっぱりマクロの初心者の方とか未経験者の方だったりすると、作りたいイメージはあるんだけど、それを言語化できないという悩みがあると思うんですよ。 ChatGPTとかこうした生成AIが命令すればコードを書いてくれるんだけども、どんな命令をすればいいのかということがわからないとかですね、 そもそも自分がやりたいことがどういうふうに一つ一つのコードにブレイクダウンできるのかみたいなことが言語化できなくて、命令がそもそもできないみたいなことがあるんですね。 そういったときにですね、じゃあ動画でこういう動きをこんな順番でしてほしいんだけどみたいなことを動画とかですね、声とスクリーン録画で伝えて、 ジェミニ側とかね、AI側がその要件はこれですか、こういうふうにすればいいんですかって確認をしてくれると。いやいやそうじゃないよとかね、その要件定義の時点でやり取りをして、 実際にプログラマーさんとかエンジニアさんと会話するみたいな感じですね。こんな感じでいいんですか、こういう内容で間違いないですかみたいなやり取りをしていって、 じゃあこの要件でOKだねとなったらゴーサインでコードを書いてくださいとなることができるということがわかりますよね。これはやっぱりクライアント、つまり未経験者の人が開発者の人にお願いする、開発をお願いする場合と非常に似てるなと思いまして、 クライアントの側はうまく言語化できない、自分のニーズを言語化できないけれども、その開発者側がこうですか、それはこういうことですねということを明確化して、その上でですね、コードを作り始めるということに非常にプロセスが似てるなと思いまして、 実際にそれが生きた人間を相手にするのか、それとも動画を理解し映像や音声からデータを取ることができるAIになったというだけなので、やり方は非常に似てるのかなと思いました。 今後こうした動きがね、より精度が上がっていくことによってVBAマクロがよりですね身近なものになっていく可能性があるなと思いつつも、ただしじゃあAIが作ってくれたこと、このコードの動きとかに関してはAIが責任を持ってカバーしてくれるわけじゃないので、やはり依頼する側がしっかりチェックしていったり動作確認していったり、クリティカルな目線、批判的な、ある種のですね、これは間違いがないのかなという、 目を光らせながら成果物を確認していく必要や、そのための知識やスキルなんかも重要になってくるのかなと感じました。 それでは以上です。