# ChatGPTでレシートを読み取ってExcelに自動記録する仕組み(GTPs)を作った話 旅行中にサクッと作ることができた。ChatGPTでカメラでレシートを取り込み、Excelのようなスプレッドシートに買い物のデータを取り込むという仕組みを作りました。 まさに写真を撮るだけでChatGPTがレシートを勝手にデータ化してくれる、そういう仕組みを作りました。 Excelの方でも反響をいただいたのですが、実はスレッズというSNS、皆さんは知っているかもしれませんが、そちらでも投稿してみたところ、結構プチバズをしたという感じですね。 今回はそんなレシート読み込みボットについて、どういう風に作ったのかという紹介をしたいと思います。 # 近況と、レシート読み込みボットについて おはようございます。久しぶりのVoicy更新となりました。 エクセルとAIで人生を自動化して楽にするラジオ立林順です。 実はですね3月の中旬ぐらいから1週間ぐらい 妻の実家に行っていまして、岡山の方に行きました。 1歳の息子と5歳の娘を連れて新幹線で行ってきたわけなんですが、 向こうではそんな仕事をする時間もあるわけではなく、持っていたパソコンも普段仕事で使って いる重たいパソコンじゃなくてですねMacBook Airというすごく軽いやつだったので、まあほとんど自分の普段からの仕事っていうのはできなかったですね。 それでVoicyの収録なんかもなかなか無理だったので更新は届こうって言ったんですけども、1回事前に収録しておいた Voicyの放送を向こうで1回公開したりはしたんですけども、 いわゆるバリバリ仕事ができるわけではないですね。 なので岡山滞在中は隙間時間でポチポチできることをしたりとか、あまり本格的ではないけれども AIを活用してできることなどをやっていました。 例えば最近購入したiPhone 16eというですね新しいiPhone機種で、4月に日本上陸するAI機能であるApple Intelligence これのベータ版を試してみたいですね。Apple Intelligenceで日常生活を過ごしてみたらどうなるかみたいな感じ。 まあこれ結論から言うとすごく便利になりまして、もうApple Intelligenceなしでは物足りなくなるっていうぐらい慣れてきた感じなんですけども。 他にもXで過去にポストした内容をChatGPTの最新モデルのGPT4.5にリライト、つまりライターさんに頼む感じでですね 違う読者ターゲットに向けて書き直すということをさせてみたりして、そのリライトしたポストをもう1回Xにポストしたら元のポストよりバズってしまったみたいな実験をしたりですね。 その過去ポストをリライトしたものを今度はスレッズに投稿してみたりしてみたらやっぱりスレッズの方でバズったりね。 そういうなかなか面白いことが観測できたんですけど、そんなことをポチポチする中でもう一つは今回のボイシーのテーマであるレシート読み込みBotを作っていたということです。 岡山での旅行期というか過ごし方みたいなことについてはいつも放送の終わりにアップデートしている英文日記の中で話していきたいと思います。 そんな隙間時間で作っていたレシート読み込みAIBotなんですが、なかなかうまくできたということで、Xの方で使っている様子の映像みたいなものをアップロードしてみたところ、 Xの方では2万表示、2万再生ですかね。 あとスレッズの方で1万表示されましたみたいなお知らせが来て、思った以上にスレッズの方で反響をいただいたという感じですね。これはなかなか興味深いところでした。これについて紹介していきます。 # 【URLあり】レシート読み取りGPTsの詳細 はいでは改めてこのレシート読み込みBotについて説明したいと思うんですが、このチャプターにもそのXのポストした内容、動画で実際に使っている様子をアップロードしたものがありますので、興味があったら見ていただきたいなと思います。 でどういうものなのかという説明をしていきます。これはChatGPTのGPT図とかMyGPTとかいう仕組みで作っています。 ChatGPTプラス以上のプラン、つまり月額20ドルのプランからでしたら自分のGPT図を作ることができるという機能ですね。 簡単に言うと自分好みの動きをするChatGPTを作ることができ、かつ外部アプリとの連携なんかも仕組み作りができる。ちょっと凝った作りができるんですよね。 今回の場合であればレシートを読み込んだそのデータを外部のスプレッドシート、Googleのスプレッドシートというエクセルみたいなやつですよね。 そこにデータを送って自動記録するみたいな仕組みができるというのがこのGPT図のいいところであります。 でねこのレシート読み込みボット、普段から私の発信を過去にも聞いてきていただいている方であれば、もしかしたら気づいたかもしれません。 これ過去にも建林が作ってなかったっけ?という感じですね。それに気づいた方は素晴らしいですよ。よく聞いてくださいました。ありがとうございます。 以前にもこのようなGPT図は作ってきているし、ボイシーでも少し解説したんですよ。 ただね、以前はZapierっていう第三者のソフトを使っていて、そのChatGPTで読み込んだデータをスプレッドシートに記録するために中間役となる橋渡しのアプリとしてZapierというものを使っていたんですね。 このZapierというもので橋渡しをすれば、ノーコードで、つまりプログラミングは全く必要なく、こうしたChatGPTとスプレッドシートみたいな別のアプリを連携する仕組みづくりができますよと。 このZapierを仲介で挟んで作っていたんですね。でも実際に運用してみて、このレシート読み込んだんですね。 あと私だったら、車の燃費の記録のためにガソリンスタンドでガソリンを入れたら、そのレシートと車のメーターを一緒に写真をパシャって撮ると、その写真のデータから自動的に記録できるみたいな。 実際の生活の中で運用はしてたんですけども、ちょっとZapierを使っていると不便なところがあったということなんですね。 そのあたりは後のチャプターで話したいと思うんですが、とにかくZapierを使っていたのがちょっと不満だったんですね。 だから作り直したかったということがあります。 今回は岡山でほとんど本格的な仕事をする時間はなかったので、これは隙間時間の中ですね、以前作ったGPTsを作り直すというか、普段なかなか手を出せないような作業をしようかなと思って作り直してたってことですね。 今回はコーディングあり、つまりプログラミングありで作ったという感じです。 プログラムについては、GASと呼ばれる、Google Spreadsheet上でExcelでいうマクロみたいなのを組むことができる言語があって、それを書いたんですけども、 書くのは実際にはクロードというAIに丸投げして、ほとんど自分では書いてないわけなんですけども、そんなポチポチ作業で作ることができましたと。 これについては、本当に技術の発展というかAIのおかげで、ポチポチ作業でこういう仕組みが、コーディングも簡単にできたというのは感動の限りなんですけども。 結果から言ってですね、すごく動きが速くなりました。 Zapierを使っていた頃よりも、今回作り直したレジと読み込みボットの方が動きは圧倒的に速くなったし、面倒な認証みたいなものもかなり省略されるようになりました。 それと、多分ChatGPTのレシートを読み込む精度も上がっているなと感じまして、今回3つのレシートを同時に写真撮って、3つの買い物データを記録させるということをやってみたんですけど、普通にできちゃったんですね。 商品名とその価格、そして合計金額みたいなものも読み取れているし、どのお店で買ったかみたいな店舗名とか日付なんかもきちんと読み込めて、3店舗、3つのレシートを同時に読み込むことができているので、以前よりも写真からのデータ読み取りのChatGPTの精度も上がっているんだろうなというふうに感覚的には感じましたね。 といったこともあり、隙間時間で作ったGPT-Sにしてはなかなかいい動きをしてくれたなと、改めてAIのサポート、作るサポートを全面的にAIにしてもらったということについてですね、感動を覚えたなという体験談でした。 # Zapierを使う vs 使わないでGPTsを作る ここからちょっと専門的というか踏み込んだ話をしていきたいと思います。 さっき言いましたが以前もこのレシート読み込みボットはもともと作っていたよという話をしました。 でも以前はZapierという間に挟むアプリを使って自動連携をしていたので、ちょっと不満があったということですね。 それに対して今回を作ってみたのは、Zapierを全く挟まずに自分でコードを書く。 実際にAIに書いてもらったんですけど、コーディングすることで連携システム、こういうGPTsから別のアプリにデータを送るみたいな仕組みを作ってみたんですよ。 その違いとどう便利になったのかという話をちょっとね、マニアックなんですがしていきたいと思います。 まず以前からやっていたZapierを仲介して作るという仕組み、この利点は何かというと全くコーディングすることなく、 いわゆるノーコードですね。プログラミング不要で、でもチャットGPTとスプレッドシートみたいな2つのアプリを連携することができるという点ですね。 これがメリットでした。もともとZapierというのは数千数万アプリ、ウェブサービスを自動連携できる自動化のアプリなんですよ。 私自身も普段からZapierというアプリは有料版を契約して使っていて非常に便利なんですね。 例えばメールでやってきたPDFの請求書があったら、その請求書をZapierで一旦テキストデータ化してですね、 AIでそれを解析して、その請求書の内容をAIに解析させ、適切な日付とタイトルをファイル名に施し、 自分の指定したワンドライブのクラウドの倉庫に保存させるという自動連携をしたりしてて、めちゃくちゃ便利にはなっています。 そのZapierの提供している1、サービスとしてチャットGPTと別アプリを連携できる、GPTsの作るサポートみたいなものがあるんですよね。 それを使えば全くプログラミングをすることなく、本当にポチポチ作業だけでGPTsと別アプリを連携できるというのが非常にメリットでした。 Zapierを使ったときのデメリット何かということですけどね。 実際にGPTsを使っているときに、例えばレシートの写真を撮りましたと、それをデータに送りますというときに、 いちいちZapierにログインしてくださいと言われちゃうんですよね。 しばらくログインしたら、しばらくはログイン不要で使えるんですけど、 でも大体毎日使うわけじゃなくて、それこそガソリンの燃費記録ボットとかだったら、ガソリンのデータを保存するのをそんなに頻繁にするわけじゃないんですよ。 そうするとログインが切れてて、使うたびに毎回Zapierにログインしてくださいと言われる。 これがものすごいストレスだったんですね。 せっかく写真を撮るだけでデータを取り込めるという手軽にできるアプリ、こういうGPTsを作ったのにも関わらず、毎回使うのにログインが必要でね。 そもそも私は忙しい子育ての中で、なかなか日中パソコンを開いたりできないというスマホ返帳の生活をしている中で、 少しでも日常の雑務を自動化し軽くしたいという思いでこういうGPTsを作ったので、 スマホで手軽にできるというのはすごく大事なんですよ。 そんな中で毎回ログインを要求されて、これ片手間じゃできないじゃん。 というわけで、このZapierログイン問題はすごく不満だったんですよね。 それからZapierを仲介してGPTsを作った時に、時々Zapierの関連でのバグというかエラーが返ってきてしまって、 記録できませんでしたみたいなのがチャットGPTから返ってくることもあるんですよ。 そういうこともあるので、なんかこれは間にZapierを挟むことで手軽に作ることはできたんだけども、 動作上で不満だなというふうに感じてたんですね。 一方で、じゃあZapierを使わないで自分でコードを組んでやればですね、 この煩わしさから解放されるんじゃないかと思って、せっかくなので今回作ってみようということなんですね。 そのためにはZapierを使わないことにより、プログラムは自分で用意する必要があったわけです。 だからなかなかリプレイスというか、自分でも一度作った仕組みを改めてプログラムしてまで作り直すというのは、 ちょっとあまり忙しい日々の中でやりづらかった、やる気が起こりにくかったんですけども、 今回ね、岡山に家族で帰省している中で普段のパソコンを使っていなかったり、逆に本格的な作業をすることができないので、 この機会にね、ちょっとした春休みの自由工作じゃないですけど、作り直してみようかなと思ってやってみたということなんですね。 コーディングするといっても実際にはコードはフロードに書かせているので、ほとんど私は指示出ししかしていないんですけども、あとコピペの作業ですね。 当然、エラーが途中で起こったこともあり、いわゆるバグを直していく作業、デバッグ作業なんかもAIと相談しながらやってはいたんですけど、 それでもね、かなり楽に隙間時間の中で作ることができたのは非常にありがたかったなというふうに思います。 その作った工程とですね、そのクロードというAIの素晴らしいサポートについては、別にXでポストしてまして、 こちらの方がね、実はポストがバズったというね、17万表示件数、183リポストみたいな感じでプチバズ状態だったんですけども、 これについてはまた機会があればVoicyで紹介したいなと思います。 その作った工程についてもですね、XのURLをこのチャプターに貼っておきますので、興味があれば見てみてください。 # おわりに:ビデオpodcastについて ということで今回はこれで終了したいと思います。 今回はVoicyの内容もですね、1テーマで短めに終わるようにと思って収録をしました。 本当はこのレシート読み込みGPT's BODを作るときに、 例えばチャットGPTのディープリサーチを使って作り方を1から調べました、 丸投げしてリサーチできましたという話だったり、 あとクロードにサポートしてもらい、図解で分かりやすく制作手順をね 示してもらったのでめちゃめちゃ分かりやすかったです、みたいな。 その開発工程でAIがいかにサポートしてくれるかの感動 みたいな話も一緒にしたかったんですけど、そうするとテーマが長く大きくなりすぎてですね 放送も長くなりすぎたと思って別の機会にまたVoicyで話せればなということで少し 凝縮して内容でサクッとしたように切り上げました。 というのもね、最近構想としてあるのがですね VoicyではVoicyのコンセプト通り、声のブログという形でブログのように割とライトな内容を 更新頻度を高めにアップデートしていくという運用にしていこうかなと思うんですね 時々私がやっている〇〇の方法10選とかね、〇〇な方法5つの方法まとめみたいな ちょっとボリュームが大きくて本格的な内容みたいなことについては外部のですね Voicyじゃないところでやろうかなというところがちょっと思っています いわゆるビデオポッドキャストというですね一部では話題になっているのでご存知の方もいるかも しれませんが、ポッドキャストのメディアっていっぱい世の中にあるわけですね アップルポッドキャストとか スポッティファイとかですねグローバルな展開をしている いわゆる海外でも日本でも展開されている大手のポッドキャストメディアあるわけですね そこで動画付きのポッドキャストを出していくという考えもあります もちろんVoicyをやめるわけじゃなくて、Voicyの方ではよりライトな内容を頻度を高くして アップデートしていく その中でもちょっとこれは本格的に解説したいなとかですね動画付きの方が明らかに分けやすいとか 重たい解説とかそのまとめ系の内容については スペシャル版としてそういうスポッティファイとかのビデオ付きのポッドキャストで出していこうかな というふうに考えています これについてはまた別の機会に話したいと思うんですけども Voicy海外で最近ですねVoicy配信 パーソナリティバナルみたいなことがよく言われてまして例えば キングコングの西野さんとかあと池田ハヤトさんですね 私実は池田ハヤトさんは一方的に私があの存じ上げていて実は同い年なんですけどね 勝手に親近感を持ちながら以前からずっと放送の方は聞いているんですけども このあたりの有名なポッドキャスターさんたちがですねVoicyの運営に対する ダメ出しというかここが不満だよと パーソナリティ的にはここが不満だよみたいなことを指摘されてまして確かに私も1年間 Voicyやってきて頷けるところもあると そんな中でVoicyの良さもあるんだけども外部のポッドキャスト配信メディアの良さもあるよね というところで私も頷けるところがあり 一種のコンテンツの住み分けというかですね そんなことをしてみたいなというふうに思います そのメディア運用論というかねそのどのような形でどこで情報発信をしていくかという話も結構私もこの岡山規制中に考えていたところがあったりするのでまた別の機会に話したいと思います ということでもしかしたらこのねポッドキャスト ExcelとAIで人生を自動化して楽にするラジオのスペシャル版 デラックス版 DXで私はタイトルつけようかなと思ってるんですけども そのビデオポッドキャストとして本格的な内容をアップデート近日中にする可能性もあるのでそれについてもまた紹介したいと思います それでは静聴いただきありがとうございました # 英文日記255: 岡山帰省、新幹線トラブル 今日の英文日記です。英文日記をつけている理由は、英語の素人でもAIをフル活用することで英語力を 伸ばすことができるかという実証実験のためです。 自分で英文日記を書いたり、チャットGPTと一緒に書いた後、 添削してもらい、AI音声読み上げアプリなどで読み上げてもらいながら、 シャドウイングや音読を繰り返した後、収録しています。 今回255番目、新幹線、岡山への帰省1日目という話をします。 実は前回のボイシーからすごい回数が飛んでます。 毎日英文日記は書いてはいたんですが、収録が全然追いつけなくてですね。 仕方ないので、あまりに前のものをこうやって収録しても仕方がないので、 一旦仕切り直して飛んでるんですが、 255番目ということで、最近のエピソードから収録をしていきたいと思っています。 それでは行きます。 はい、日本語訳です。今日は家族と一緒に岡山県に行きました。 私たちは電車と新幹線で旅をしました。 新幹線に乗り込む時に検査機がうまく動作せずトラブルとなりました。 最初QRコードを使っていたんですが、それがうまくいかなかったというわけです。 最終的にその予約番号を直接直打ちしたところうまくいきました。 最終的には私たちは電車に新幹線に乗り遅れることはなく、 乗ることができました。これは妻の実家である岡山県があるんですけども、そこに帰省をしました。 だいたい1週間ぐらい帰省をしていました。 今回新幹線に乗るためにスマートEXというサイトを使って予約をし、 そこで予約番号を持って行ったので、当日は新幹線の駅で、新横浜駅だったんですけども、 検売機というか予約券発行機みたいなところにQRコードをオピーとやるだけで発券ができるというものだったんですよ。 それがうまく読み取れなかったというか、 係員に問い合わせてくださいというエラーメッセージだったんですよ。 私は普段からマカリナリにもシステムに触ったりしているものですから、 そのエラーのメッセージが曖昧すぎと思って、 何が原因なのかをはっきりと出さずに、係員に問い合わせてくださいというメッセージだけなんですよ。 何が原因なのと。そこがひどいなーって感じましたね。直感的には。 もう新幹線の時間が近づいているのにもかかわらず、窓口は長蛇の列で窓口にたどり着くまで30分ぐらいかかりますみたいに表示されているんですよ。 間に合わないじゃん。ということで、結局QRコードだとうまくいかないわけなので、 予約番号みたいのを直打ちして、最終的にこれでうまくいったので、なんとか間に合ったっていう話なんですよね。 だとしたらですね、そのエラーメッセージをちゃんとQRコードが不正確ですとか、そういう何がダメなのかっていうのをちゃんと表示してほしい。 とりあえずね、何も原因を示さずにですね、 係員に聞いてくださいというのはかなり不親切なシステムだなって感じたっていう話なんですけども、 そんなことがありましたという話でしたね。 ここでの英文ですね。Automatic ticket machine didn't work properlyということでうまくいきませんでした。 We tried to use the QR code, but it didn't work well. うまくいきませんでした。 Finally, we entered the reservation number directly. 直接予約番号を打ち込み、and it worked. ようやくうまくいきましたみたいな英文としてですね、 ChatGPTに添削してもらいました。 以上です。 # 英文日記256: 岡山2日目、ショッピングモール 英文日記256番目です。岡山2日目。 日本語役です。 今日は家族と岡山を訪れた2日目でした。 妻の両親の家で朝食を食べた後、大きなショッピングモールに行きました。 そこで子供たちとおじいちゃんおばあちゃんと一緒にお昼ご飯を食べました。 私と娘は書店、本屋さんでポケモンの本を読んだりして、 その間、1歳の息子は妻のベビーキャリア抱っこ紐の中で眠っていました。 最終的に家族全員でのショッピングデーでした。 天気が暖かくてとても良い日で、外出にもぴったりだという感じです。 ということで、岡山規制の2日目ということで大きなショッピングモールに行ったという話でした。 2日目のフルオンという表現なんですが、 It was a full on shopping dayというのが本格的なとか、1日中とか朝から晩までみたいな表現だそうですね。 今回の場合であれば朝から1日ショッピングを楽しみましたみたいな表現となりました。 そして最後ですね、The weather was warm and nice. Perfect for a day out. 外出する、お出かけするのに最高でしたねみたいな表現として今回は学びになりました。 # 英文日記257: 岡山3日目、娘の熱 英文日記257番目です。岡山3日目。娘の熱について。 日本語訳です。今日は岡山での3日目となりました。昨晩、娘が少し熱を出したので、今日は家の中にいました。幸運なことに、今朝は娘の具合も良くなったようです。 1歳の息子はとても元気で、外に出るのを待ちきれないというか、出たくてしょうがないという感じだったので、2回お散歩に行きました。 天気はあまり良くはなかったんですが、幸いなことに雨に降られてしまうということはありませんでした。子どもたちはおじいちゃんやおばあちゃんと遊んでとても楽しむことができました。 といった内容ですね。雨に降られるみたいな表現ですね。今回チャットGPTのアドバイスで。Get caught in the rainですかね。雨につかまっちゃうみたいな。そういうニュアンスでの表現でした。今回は以上です。 # 英文日記258: 岡山4日目、チャギントン列車 英文2期258番目です。 岡山4日目、チャギントン列車について。 日本語です。今日は岡山での4日目でした。 残念なことに朝から大雨が降っていましたが、子どもたちは岡山電鉄のチャギントン列車に乗るのをずっと楽しみにしていました。 これはチャギントンをテーマにした特別な列車であり、私たちはそれに乗ることができました。 乗っている間にはたくさんのゲームやアクティビティを楽しむことができました。 その後、チャギントンも展示されている鉄道博物館に到着しました。 子どもたちはとても楽しんで、最終的にはとても良い一日となりました。 といった内容でした。 チャギントンという子ども向けの3Dアニメがありました。 これはイギリス発祥のアニメです。 うちの子どもたちはトーマスよりもチャギントンの方が好きです。 2,3年くらい前からですが、岡山の路面電車でチャギントンをテーマにした特別な列車がありました。 入場券も予約して買わなければならないのですが、 そこに乗って岡山市内を一周して、鉄道の博物館にたどり着くという特別な列車がありました。 単に乗っているだけではなく、スタッフさんみたいな人が中で子ども向けのアクティビティやゲームを開催しているので、非常に楽しむことができる。 そういった一種の乗り物かつアトラクションみたいなものです。 それに乗ることができたという一日でした。 今回は以上です。