# 写真からレシートをExcel(スプシ)に記録するGPTsの解説 視聴数47万回、チャットGPTで複数のレシートをまとめて読み込んで、データを取得し、そのままExcelに書き込むことができる、私の作ったGPT図が、Xでバズりましたので、それについて解説します。 おはようございます。ExcelとAIで人生を自動化して楽にするラジオ、竪林純です。 最近は私の作った自動化の仕組みについて、X旧Twitterの方で動画で手軽にシェアしているんですけども、 今回は2つのツイート内容が、合計インプレッション数47万回を超えるような、プチバズり状態になりましたので、それについて詳しく紹介したいと思います。 その動画では、4枚のレシートを同時に1回写真でパシャッと撮って、チャットGPTに送信するだけで、各レシートの合計金額と店の名前と日付、そして何日なのか、家計簿における仕分けみたいなことを自動判定してくれる。 4つのデータを表に直してくれるということですね。 そこまでの内容が1つ目の動画だったんですが、2つ目はそれをさらに改良しまして、表をそのままWeb上のExcel、Googleスプレッドシートなんですけども、そこに書き込むというところまで完結するというデモをお見せした動画だったんですよね。 そうしたGPT図といって、チャットGPTの専門特化したチャットボットを作ってみたので、それについて詳しく次のチャプターから説明していきます。 # 【動画1】写真だけで複数のレシートを取り込む まず一つ目の動画なんですが、レシートを4枚同時に写真を撮ってChatGPTに送信し、 家計簿みたいにですね、仕分けをさせることができたということですね。 今ChatGPTのAIモデルはGPT-4Oというモデルになっており、 写真から日本語の文字を読み取る精度が以前よりも格段に上がりました。 以前のGPT-4というものだと、そうした精度があまり良くなかったので、 今回の例のようにレシートを読み込ませるなどをしても、あまり良い結果は出ず、良い精度は出なかったんですよね。 ただ最近GPT-4Oになったということで、その精度が格段に上がったということを受けて、試しにやってみようと思って4枚同時にレシートを撮ってみたんですよ。 そしたらできたということですね。 まあ多少ですね、一箇所だけそのツイートでは1099という数字を1089と読み違えてしまっているミスもありましたけども、 まあそれは普通のOCR機能で読み取ったとしても、そうした誤差は起こり得る範囲内なのかなと。 しかも結構ラフに撮った写真でして、レシートをぴったりと平らにして撮ったわけじゃなくて、 そのままテーブルに置いた状態でガサッと撮っただけなんですよね。 それでこの精度が出てしまったのはなかなかすごいことだなというふうに感じました。 ちなみに以前私もボイシーで紹介しましたが、ちょっと前に私のツイートでバズったのが、車の燃費記録を撮るっていうものですね。 写真から燃費記録を撮るというツイートだったんですけど、 その時にリプライというかコメントなんかでもいただいていたのが、 1個のデータだったらいいんだけど、これが複数のデータになった時に時間がかかりそうとか手間がかかりそうというようなご意見があったんですよね。 確かにそうかもしれないなと。 私も今回レシートを撮るということを考えた時に、使用上1枚ずつレシートの写真を撮るのってちょっと面倒だなと思ったんですよね。 なので一層のことを同時に複数枚撮ったら、これGPD-40頭がいいから、それぞれのレシートをちゃんと区別してデータ化してくれるんじゃないかなと思いついたわけです。 ダメ元でやってみたら本当にできたということで、自分自身も驚いたという感じで、そのコメントをそのままツイートにも書いてしまったんですね。 思ったよりは良かったみたいな感じで、それで皆さんからの共感も得られたのかなというふうに思います。 # ChatGPTへの具体的な指示の重要性 ちなみにここでレシートを読み込ませるというタスクについてなんですが、ただ単に写真をアップロードするだけでは綺麗なデータにしてもらうことは難しいです。 このチャプターにその時使ったプロンプト、命令文ですね。直接全く同じ命令文で実現できるようなものをツイートでシェアしたものがリンク先で見ることができるので、よかったら見てみてください。 大体の概要を説明します。まず具体的な指示を述べます。 チャットGPTにですね、あなたのタスクは複数のレシートが写った写真を解析し、それぞれのレシートから特定の情報を抽出することです。 抽出する情報は日付、店舗名、品目、金額、そして仕分け項目です。 そんな感じで何のデータが欲しいのかを具体的に提示しています。 そうしないと何回もレシートを取った時に違う表のレイアウトになっちゃったら困るわけですね。 次に例としてどんなデータが欲しいのかという出力形式を表形式で提示しています。 この書き方はマークダウン形式という書式の書き方で表を表現しているんですけど、それは割愛します。 このようにチャットGPTに毎回安定して同じ形式で返答して欲しい場合は、具体例を用いて命令文を書くといいですね。 そしてその後で仕分け項目の候補を箇条書きで提示しているということですね。 例えば食費とか日用品、交通費、娯楽費とかですね。 具体的に列挙してこの候補の中から仕分け項目を選定してくださいねということも具体的に指定しているということです。 このように単純にレシートをデータ化してだけじゃダメなので、こちらの望む形式を具体例を用いて指示するのが重要だったりしますね。 さらに補足なのですが、このような命令文なのですが、実は私自分で作ってないんですよね。 チャットGPTには命令文を作ってくれるGPTsというものも存在するわけです。 今回ツイートで紹介したのがプロンプトプロフェッサーという名前のGPTsで、プロンプト命令文を作る専門家みたいなそういう役割のあるGPTsなんですね。 こちらはSNSでも話題のチャットGPT研究所さん、最近GPTsの書籍も出されましたけども、そちらが作られたGPTsを私も使わせてもらって、 こういうことをやりたいんだけどプロンプト書いてみたいな依頼をしましたって感じですね。 実際には私は隙間時間でこういうレシートを複数枚一緒に取って、いい感じのデータにしてほしいんだけどどういうプロンプトがいいのみたいな感じで、 プロンプトプロフェッサーと相談しながら命令文を確定していったっていう感じなんですよね。 ですので、ある程度命令文の書き方を覚えてきたら、もう時短のために自分でゼロから書くんじゃなくて、こうしたGPTsにお願いをして書いてもらって、 自分で微調整をした方が早かったり手軽だったりするので、そうした手段も皆さんにお勧めしたいと思います。 # 【動画2】レシートデータをExcel(Googleスプレッドシート)に直接記録する そして2本目の動画が、具体的にレシートから読み取ったデータをExcel、まあ括弧Googleスプレッドシートという方なんですけども、そこに書き込むという一貫した動作もしてみましたよという動画がインプレッション数17万回ということでしたね。 でね、先ほど紹介した1本目の動画では、とにかくレシートを4枚並べて一気に写真撮ったらデータ化できたぞ、すごかったっていうので多くの人に見ていただいたんですけども、まあそれだけじゃなくてExcelに書き込んだりダウンロードしたりすることができるんですかというですね、ご質問もいただいてました。 で、多分できると思いますよってリプライしたんですけど、なぜかというと先日私が紹介したガソリンの燃費記録のボット、あれもですね写真を撮ってデータを取得してそれをGoogleスプレッドシートに書き込む、すなわちExcelみたいなものですね、にクラウドで書き込むというところまで一貫して実現はできているわけなんですよ。 ですのでその応用で今回のレシートを複数枚読み込むやつも同じ感じでできるんだろうなというのは予測ができました。そして実際に試行錯誤してやってみたところを実現できたということですね。なので1枚の写真から4つのレシートの仕分けをすることができ、その4つのデータを直接Googleスプレッドシートにまとめて書き込むということが実現できたという映像でした。 こういうですねデータをチャットGPTからGoogleスプレッドシートに直接書き込むみたいな方法はいろいろあるのですが、今回も私が愛用しているZapierという連携ソフトを利用しました。 Zapierというのは5000以上の種類のアプリ同士を連携させる自動連携ソフトアプリなんですけども、AIツールとしてチャットGPTのGPTsと例えばGoogleスプレッドシートとかGmailとかExcelとかいろんなアプリを接続するためのZapier AI Actionsという仕組みも提供してくれているんですよね。 なのでZapier AI Actionsでいわゆる用意されている仕組みを使えば、そのままGPTsにZapier連携で5000以上のアプリとの連携の仕組みを作ることができる。決して難しくはなくてプログラミングも不要というところで非常にお勧めの方法なんですよね。 今回もその方法を使ってチャットGPTのGPTsとZapierを仲介してGoogleスプレッドシートにデータを書き込むというタスクをさせてみたということになります。 Zapierにも注意点があります。私は有料会員になってZapierを使っているんですが、無料プランも存在しています。Zapierの無料プランはどういう制限があるかというと、月間100タスクまでしか利用できないということですね。 タスクというのは、Zapierが仲介をして1つ何かの仕事をしたということを1タスクと言います。ですので月間で100回までしかZapierによる連携の仕事をしてもらえないというざっくりとしたことになります。 でもレシートを読み取るようなアプリ、GPTsを作るということであれば、多分月間100回は超えないと思うので無料の範囲内でもできるんじゃないかなと思います。 よっぽど毎日レシートをガンガン読み込むみたいなことでない限りは、無料の範囲内で試してみることは十分できるんじゃないかなと思います。それ以上利用したい場合は有料会員になった方がよろしいかと思います。 ということで、そのようにデータを読み取ったらZapierを連携して別のアプリにデータを送り込むということでした。 ちなみになぜ今回Excelではなくて、一応ZapierってExcelにも連携できるんですよ。 なんですがGoogleスプレッドシートにしたのかということなんですけども、これツイートでも書いたんですけども、Excelに連携する場合ですね、Zapier経由だと1データずつしか、つまりExcelの1行のデータずつしか追加ができなかったんですね。 そうすると4枚のレシートを読み取ったときに4行のデータが必要になってきて、4回通信をやり直すっていうことになりまして、結構時間がかかるなと思ったんですよね。 一方でGoogleスプレッドシートとのZapier連携では、まとめて複数行を一気に書き込むことができるというアクションが用意されてたんですよ。 そっちの方が時間あたりのパフォーマンスが高いなと思ったので、今回はGoogleスプレッドシート連携を利用したということですね。 # まとめ はい、ということで今回のポイントは写真でデータを読み込む。で、読み取るのは単純に写真を送っただけではこちらの望むようなデータを安定してChatGPTが書き込んでくれるとは限らないので、命令文を結構ちゃんと決めておくということですね。 そしてデータ化したデータをExcelなりGoogleスプレッドシートなりに書き込むときに、今回はZapierという便利な連携アプリを使えば、プログラミング不要でですね、そうした連携をしたGPTを作ることができる。 で、Zapierは無料プランでは月間100タスクまで試すことができますので、お試しということであれば十分な数かなというところでした。 今回のようにレシートを読み込んだりするというタスクなんですけども、他にも帳表の写真を撮ってですね、データ化してクラウドに連携して書き込むみたいなタスクって現実世界の実務には結構あり得ることだと思うんですね。 なので、いろんな業務の現場において活用の可能性が高いという部分もあって、多くの方に目に留まってコメントをいただいたりシェアしていただいたということが結果としては発生したんじゃないかなと思います。 私もそういうことにですね、関心がありますし、様々なところで今回のような生成AIを使ったですね、業務自動化やOCRですね、写真からデータを読み取って適切なデータの形にしていくという業務効率化、こういったところにつながっていければなと思いますし、もっともっと精度が高くなったり実用的になっていく未来が近いんじゃないかなと期待をしています。 それではご清聴いただきありがとうございました。 子どもの保育園のお迎えに行ってきます。