# はじめに(ノイズが入ってしまってます😱すみません😭) こんばんは、エンジニアのお家でまったり 青少尉商売ラジオのニューブルーです。 この番組は、エンジニアだからお伝えできることや、 日々気になったことなど、楽しくITを学べるチャンネルです。 聞きに来てくださって、ありがとうございます。 今日は、今更聞けないIT用語シリーズになります。 世の中にあふれているIT用語ですとか、 英語のよくわからない略称、 難しいと思って避けてしまいがちな単語などなど、 この放送を聞いて、皆さんがITというものを もっと身近に感じてもらえれば嬉しいです。 また、本シリーズはハッシュタグがありますので、 そちらからこのシリーズの放送も 聞いていただければと思っております。 ということで、今日はデイリートークテーマは つっ飛ばして、今週のウィークリーテーマに フェイブル5を使ってみてというトークテーマがあって、 私も放送させていただいたんですけど、 フェイブル5というか、AIを使う上で、 この単語、IT用語を触れとかないといけないなというのが、 思い出したので、 その辺についてお話ししたいなと思っています。 この今のAIの現代というか、そこには欠かせない技術。 ウェブ上の膨大な情報から、AIって動いてるんですけど、 その情報をサクッと集めてくる技術ですね。 それをスクレイピングといいます。 今回はそのスクレイピングについて お話していきたいなと思っております。 # 「スクレイピング」って何？ まず、スクレーピングって何?っていうことなんですけど、 スクレーピングというか、ウェブスクレーピングですね。 一言で言うと、本当にプログラムを使って、ウェブサイトなどから 必要なデータだけを自動でですね、 削り出すというか、抽出するというか、それを集めてくる、 その技術のことをスクレーピングって呼びます。 英語のスクレープというか、それが削り取るとか、そういった意味を持っているので、 そこからそれが語源になっている言語になってきます。 例えばどういったことをするのかというと、 例えば本当にネットショッピングを見ていて、 いろんな商品とか値段がありますよね。そういったところから、 この商品はいくらなんだっていう情報だけを抽出して、 この商品に対していくら、ここのサイトだったらいくら、 ここのサイトだったらいくらっていう、そういったウェブサービスありますよね。 あとはホテルの値段が比較できたりとか、 いろんな比較サイトってあると思います。 相手のやつもおそらくそういったスクレーピングを使ったりとかして、 作っているところももしかしたらあったりとか、 もしかしたらって言いますけど、 確定ではないのでそういった形を言いますけど、 これ実際にウェブのサイトを開いて、 とあるサイトだったらこの商品はいくらだった。 別のサイトを見に行って、この商品、 同じ商品がこのサイトではいくらだったっていうのを、 人間が手作業でやろうと思えば、本当にサイトを1ページ開いて、 商品までクリック、クリック、クリックっていって、 その商品名と値段がいくらっていうのを、 例えばエクセルにコピペとかして、 1サイト目完了、次のサイト行こうって感じで、 そういった感じで大量のコピペ作業というか、 ウェブを見る作業が発生すると思います。 これを自動化させるっていうときに使う技術が スクレーピングになってきます。 これ本当にプログラムですよね。 Botと呼ばれますけど、 そのプログラムが自動でウェブサイトを巡回して、 本当に人間の代わりに先ほど言ったようなコピペ作業とかをやるので、 何百ページ、何千ページっていうのが、 一瞬で、一瞬で言うとあれなんですけど、 自動で巡回して、必要な情報だけを取り除いてくるというか、 削り取ってくるというか、 本当にスクレープしてくるっていうことになるんですけど、 それをいろんなデータに置いておいて、 その取ってきたデータを別のところで使うというふうな形、 この技術をスクレーピングと呼びます。 # AI時代だからこそ、さらに重要になるスクレイピング このスクレーピング機能、本当に以前お話ししたフェイブル5のような、どういったものでも、どんなモデルでも、どんなにすごい偉いAIのモデルであろうと、 元になっているデータはこのスクレーピングなどを使って、いろんなネット上の情報を集めてきて、それを学習するというか、 そういったことが絶対、最低限必要なことになってきます。 このスクレーピングという技術があるからこそ、本当に今のAI時代が、 頭の良さとか、モデルの頭の良さとかがいろんなところで競争していると思いますけど、 その辺りはモデルの作り方とか、学習方法とかに関わってくると思うんですけど、 本当の元データはスクレーピングなどによって、インターネット上にあるデータをいかに集めてくるかという形なので、 このスクレーピングは今のAI時代というか、そこにおいては必要なIT用語だと思うので、 ちょっと今日は覚えて書いていただければいいかなと思います。 # どうやってデータを「削り出して」いるの？ では、どうやってデータを削り出しているの?という、ちょっとエンジニア寄りというか、技術的な話をさせていただくんですけど、 まず、人間と同じことをプログラムがしています。 というと、あれなんですけど、人間もウェブサイトを立ち上げて、先ほどの例だったら、 ウェブサイトを立ち上げて、商品名で検索して、表示されたサイトのとある場所にある値段というのを見つけて、それを記憶する、コピペするということをすると思います。 これをプログラムでもできるようになっているんですよね。 本当に、スクレーピングのプログラムを使うことによって、人間がしている作業を本当にコンピューターの目で追っかけるということ、追っかけるというか、動かすということができます。 とあるウェブサイトをまず立ち上げるというのも簡単にできますし、そこの検索のエリアにとあるキーワード、今回で言うと商品名を入力して検索ボタンを押す、 そういうことも自動でできます。プログラムを書くことでできるようになります。 そして、表示された画面の値段を探して、そこからデータを抜くということもできます。 このときに、プログラムで一番スクレーピングするプログラムで大事になってくるのが、どこの欄に入力するのかとか、どこの欄の情報を抽出するのかみたいな、 あとはさっきの検索ボタンもそうですね、どこのボタンを押すのかみたいなことが重要になってくるんですけど、これどうやってしているかというと、 人間は目で見たら検索は検索って書いてあるエリア、テキストブックスのところに入力したりですとか、検索ボタンは虫眼鏡のマークが付いたりとか、 値段は人間が見て、これが値段だなというのが分かると思います。 でも、プログラムにとってはそれは見た目では分からないので、何で指定してあげるかというと、ウェブサイトができているHTMLですね。 これHTMLは最初の方かな、今更聞けないIT用語、結構最初の方にもお話したかと思うんですけど、ウェブサイトが最終形態というか、 ウェブサイトの最終形態にHTMLができて、それをブラウザが人間の目に見えるように表示しているだけなので、 プログラムとしてはHTMLの方が分かりやすいんですよね。 なので、そのHTMLの中の検索ボックスだったら、検索の入力ボックス、そこがどこに来るのかというのを探します。 探しますというか、人間が指定することで探すということができるんですけど、 HTMLってただの文字列がずらーっと並んでいるので、例えば、とある文字列からとある文字列までの間の部分、ここが検索ボックスだよ、 みたいな感じを教えてあげると、そこの情報に対して入力するということができますよね。 この文字列からこの文字列の間というのが、そのHTMLのすべての文字列の中で1回しか登場しなければ、そこというのが分かりますし、 複数回登場したとしても、登場した何番目のところというのを指定してあげれば、それで特定の1箇所が断定というか特定できるので、そこに対して入力値を入れる。 検索ボタンも同じです。この特定の文字列が付いているところのボタンを押すというのも同じですし、 値段の情報を抽出する部分も、この文字列からこの文字列の間に入っている文字列をただただ抽出しているだけ。 それが値段かどうかなんてプログラマは分かっていないです。 人間がプログラミングをするときに、ここの情報を抜いてって指示をしているだけで、 それでプログラムはただただそれの指示通りに、プログラミング通りに、プログラム通りに動いているという形になってきます。 これがスクレーピングのプログラムというか、どういった仕組みでデータを削り出してとか抽出しているのかという仕組みになっていきます。 # スクレイピングを使う時の「大切なエンジニアマナー」 ここでちょっとチャプターにもあるんですけど、スクレーピングを使うときの大切なというか、エンジニアのマナーというのが存在します。 これ今まで説明した通り、スクレーピングってすごく便利で、強力というか良い技術だと思うんですけど、 いろんなネット上の情報、何でもこれ使えば取り放題ですよね。 実に言うと、Voicyのデータも全部このスクレーピングを使えば、勝手に抜くことができます。 なので、例えばで言うと、今私がこうやって公開している音声データもすべてダウンロードすることができるんですよね。 Voicyさんとして、音声のチャンネルの放送のダウンロードというのは機能的には提供されていないですけど、 スクレーピングという機能を使えば、全部データを取ることができます。 ログインとかプレミアム放送については、プレミアムリスナーのログイン情報さえあればダウンロードができます。 ですので、入っていないチャンネルのプレミアム放送の音源データはダウンロードすることはできないんですけど、 そういうのを除いてというか、ブラウザであなたがアクセスできるところであれば、 すべての情報はどうにかすればダウンロードする、抽出することができるようになっています。 こうすると、いろんなサービスができるように思いますよね。 いろんな検索というか、検証というか、データの解析とか分析とか、そういったことがこちら側からもできると思います。 でも、これやっちゃダメなんです。 というのが、まず一つ目としては、これをやるということは、人間がウェブサイトをずっと見ているよりもすごいスピードで繰り返し、 パソコンというか、プログラムはすごいスピードでアクセスします。 これも今更聞けないIT用語で、結構前かな、やったと思うんですけど、DOS攻撃というものが存在します。 これDOS攻撃、人間にもできますよって確かその放送でも言ったと思うんですけど、 ブラウザを開いて、F5ボタンを連打するとそれがDOS攻撃になりますよってお話をさせていただいたんですけど、 あれよりもはるかにすごいスピードでF5ボタンをプログラムは押すことができます。 それと同じことをスクレーピングって実はしてしまうんですよね。 なので、マナーって言ったらあれかもしれないですけど、 プログラマーというかエンジニアは、スクレーピングをするプログラムを組むときに、 1アクセスごとに何秒間か待つという処理を無駄だと思いますよね。 プログラムを処理的に無駄だと思うんですけど、 それが情報をいただく、ただで情報をいただく最低限のマナーというか、 そういった形でエンジニアはスクレーピングをちょっと作ろうかなと思ったときに、 作るときには1アクセスごとに1秒間、2秒間、3秒間とか待って、 それによってすごく全ての情報を抽出するまでにすごく時間がかかります。 でもそれが必要最低限というか最低限のマナーなので、 そういった行動を組むということを絶対ルールというか、 そういった感じでやってます。 これ結構今AIでバイブコーディングとかできるようになって、 いろんなこのサイトを分析してよみたいな、 いろんなそういったツールを作れたりでもするんですけど、 このときに実際そういったマナーというか、 ルール2の1アクセスごとに何秒間待つみたいな仕組みにできてるかどうかって、 非エンジニアの人だったらおそらく分からないかもしれないんですけど、 今のAIってどうなんでしょうね。 そういったところも考えて作ってくれてるのか分からないですけど、 これをもし待たずにすぐすぐアクセスしちゃうと、 そのプログラムというかAIでバイブコーディングして作ったツールって、 あなたにとってすごく便利なツールかもしれないですけど、 でも実際はただのDOS攻撃をしているツールになっているかもしれないっていう、 ちょっと危険なお話にはなります。 っていうのもあり、ウェブサイトによっては、 最近だとスクレーピング自体を禁止するというか、 利用契約にスクレーピングでデータを勝手に持っていかないでください、 みたいな記述が書かれているっていうところも、 結構ウェブサイトとかウェブサービスで多くなってきてます。 なので、もしその契約が書かれているウェブサービスに対してそういったことをすると、 いかにその1アクセスに対して間のインターバルを組んでたとしても、 利用契約に抵触するというか、そういった形になるので、 その情報を取るときは、取るときはあれですけど、 しないほうがいいと思います。 こういった情報は、なので私は結構ボイシーさんに対して API作ってくれ、API作ってくれっていろんなところで発信とかでも言ってると思うんですけど、 それはAPIだったら許可取ってくださいって言ってるのと一緒なんですよね。 APIも同じで、APIを呼ぶときには必ずインターバルこれぐらい作ってください みたいな利用契約が出ると思います。 それをちゃんと読んで、そのAPIをそのルールにのっとって、 ちゃんと作ればボイシーさんもこの情報なら取っていいですよっていうものを、 APIとして公開しているっていう形になるので、 私たちエンジニアにとっても組みやすいっていうか、 そういった感じになるので、 ぜひボイシーさんはAPIを作ってほしいなっていう、 私の思いはそこにあるんですよね。 そんな感じで、本当に最低限のマナーと、 あとはウェブサービスを情報を提供していただけるボイシーさんみたいな、 提供していただける側のルール、決め事というか、 そちらのところが合致すればというか、 そういった感じになれば、 人間が一つ一つ手作業で情報を引っ張っていくよりも、 はるかにスピードが速いプログラムを使うことによって、 早く情報を抽出できますし、 あとは本当に24時間稼働ということも可能になってくるので、 本当にすごいこのスクレーピング技術は簡単な、 ちょっと1個前かな、2人もお話ししましたけど、 やってることはすごく単純なんですよね。 本当に文字と文字の間の情報を抜いてきたりとか、 ボタンを押したりとか、そういったことをしてるだけなのに、 すごくいろんな情報、 情報ってやっぱり一番大事なものなので、 そのあたりはウェブサイトとして情報を公開しているサービス会社と、 ちゃんとそういった起利用規約とかを見て、 正しくやっていただければいいんじゃないかなと思います。 # まとめ はい、ということでまとめに入っていきます。 スクレーピングというものは、ウェブサイトの裏側というか、 プログラムに一番わかりやすいHTMLですね。 その部分から必要なデータだけをプログラムによって自動で抽出する、 そういった技術のことをスクレーピングと言いますよというお話をさせていただきました。 そして、今現在のAI時代においては、フェイブル5とか、 そういったすごく高機能なモデルであっても、 元データはスクレーピングとか、そういったものによって データを集められているんだよというお話をさせていただいています。 あとは、最後にちょっと長く話をさせていただいたんですけども、 エンジニアとして、最低限というかマナーとして、 相手のサーバーをDOS攻撃みたいな感じで攻撃するのではないということで、 アクセス間隔をしっかり空けるというマナーと、 あとはちゃんとウェブサービスを提供していただいている会社企業さんが、 スクレーピングとかそういった勝手にデータを持っていっていいんですよというものを ちゃんと作っているかという、そういったあたりも確認していただいて、 APIが存在すれば、それは基本いいですよみたいな感じになっていると思うので、 そのあたりのちゃんと相手のことを考えて、 スクレーピングはやっていただければいいんじゃないかなと思います。 ということで、今日のお暇さら聞けないIT用語、 AI時代においてウェブの情報を集めてくる技術、 スクレーピングについてお話しさせていただきました。 それでは今日も適当にまったりお過ごしください。ありがとうございました。 # コメント返信✨いつもありがとうございます😊 はい、ということでコメント演習していきたいと思います。 えっと、437回目ですね。 この時はですね、Fable5について ちょっとお話しさせていただいた回ですね。 まあ、Fable5の使っての感想ではなくて、 AIを使う、まあ、反AIという形で ちょっとお話しさせていただいたんですが、 そこにコメントいただいております。 ありがとうございます。 ついてる、ついてる、ついてる、 浦市応援隊さんですね。ありがとうございます。 浦市ミュージックフェスに行きたいです。 ということで、そうですね、この放送の時に あなたの目標を確か教えてください、 みたいなコメントしてください、 みたいなのかなと、はい、ちょっと思います。 で、まあそうですね、浦市ミュージックフェス、 ぜひ行ってください。 チケットは、チケットの購入サイトは、 こちらのチャプターにもリンクを貼っておきます。 はい、なんでこんな宣伝してるのかって あれなんですけど、 まあ、あれですよね、浦市さんって、 パパマリアマさんが主催でされてる 団体コミュニティっていうのかな、 活動というかな、そういった方だと思うんですけど、 はい、まあね、いろんな楽しいことは、 私全然いろんなことやっていきたい感じなので、 勝手に宣伝、このチャプターにリンクを貼ってますので、 気になる方は見ていただければと思います。 はい、で、続いてそのままが、学校タブレットで、 子どもがAI使うの禁止、 AIに個人情報を入れるの禁止、画像生成禁止、 公務員なんで、ということでありがとうございます。 はい、そうですね、ついてるついてるさんは、 そうですね、公務員、教師の方でしたので、 そうですね、公務員さんってね、 確かにね、そのAIとかね、 まだまだ、そういったAI使えないですよね、 難しいですもんね。 なんか今でもね、ああいうのないのかな、 Googleが確かね、エデュケーション版かなんかで、 ワークスペースを学校に提供してたりとか、 そこだったらその中で確か、 ジェミニーが使えたような気もしてるんですけどね、 そういった、まあでも、取り入れてる学校というか、 教育委員会ごとになるのかわかんないですけど、 まあ本当にそういった、ちょっとずつね、 AIも公務員に使えるようになっていけばいいんですけどね、 難しいですよね、本当に私の言ってる、 会社もAI禁止、完全禁止ではないんですけど、 やっぱり外に情報漏れてはダメな会社なので、 そういったところ厳しい部分もあるんですけど、 本当にAI楽しいので、 学校のことにかけなければ、 個人でいろんなAI使っていただければ、 楽しんでいただければいいんじゃないかなとは思います。 はい、コメントありがとうございました。