# 第1巻のリンクはこちら↓ AIの基礎を耳で身につけるための教材 その第2巻です 今回はAIはどうやって学んだのかというお話をします この教材は僕がブログやVoicyで話しているAIの話をもう少し気楽に受け取ってもらうための 複読本です 数式は出てきません。画面を見なくても分かるように話します はじめに第1巻の話を短く振り返っておきます 第1巻を聞いていない人もここだけ聞いてもらえればこの巻の話について来られるはずです ChatGPTやクロードやジェミニのように文章で答えてくれるAIの中心には大規模言語モデルと呼ばれるものが入っています この大規模言語モデルがやっていることは 渡された文章の続きとして次に来そうな言葉を一つ選び それを文章の最後にくっつけてまた次の言葉を選ぶ それを繰り返すことでした 会話もそれまでのやりとりを台本のようにまとめて受け取ってその続きのセリフを書いています その選び方には揺らぎがあって同じ頼み方でも答えが同じとは限らない そして次の言葉を当てるのがあまりに上手なので理解しているように見える どこまでが本当の理解なのかはまだ誰にも言い切れない 第1巻ではそういう話をしました その中で何度かこんな言い方をしています AIは膨大な文章で次の言葉を当てる練習を積み重ねてきた その練習のおかげでここまで上手になったと この間はその練習の中身の話です ニュースなどではこの練習のことを学習と呼びます 学習データとか会話を学習に使わない設定とか耳にしたことがあると思います 第1巻で練習と呼んでいたものとこの間で話す学習は同じものです 入り口にしたいのは2026年10月9日の記事 ズルをするAIはとんでもなく優秀な野暮であるです この記事は賢いAIほど目的を果たすためならズルをしやすいという話から始まります 課題そのものを解く代わりに採点の仕組みの抜け穴をついて解けたことにしてしまう そういう振る舞いが試験の段階のAIでいくつも報告されているそうだという話です そして記事はこんな不思議を書いています ズルなんて人間が書いた膨大な文章を読み込んできたAIであれば 一番最初に理解していそうなものじゃないですか それなのに意外とAIには伝わらない 記事はこの不思議の答えを身体のそばに探していきます AIは何がズルに当たるのかが分かっていないわけではない 分かった上で抜け道を選んでいる だとすればズルを理解することとズルをためらうことは全く別の話なのではないか と この間では記事の見立てとは別に同じ不思議に AIがどうやって育てられたのかという側からも光を当ててみます 育ち方の側から見るとAIがズルをするのは採点で決まる点数を基に鍛えられるからでもあります 採点に抜け道があれば課題を解く代わりにその抜け道を使うやり方でも点数は取れてしまいます それがどういうことなのかはAIがどう育てられてきたのかを初めから知っておくと見えやすくなります 詳しくはこの間の後半5つ目の章で話します なぜ学び方の話を知っておくといいのか AIを使っているといろいろな癖に出会います 最近の出来事を知らない 英語の話には強いのに身近な話になると急に怪しくなる やけに優しい どの答えもどこか似た調子になる こうした癖の多くはAIがどうやって学んだのかを知ると説明がつくようになります この先の間で話すAIの文章がAIっぽい理由も AIが優しい理由も最もらしい間違いも考えるAIの話も その根っこはこの間の話にあります 2023年の5月チャットGPTが登場して半年ほど経った頃に ブログでこんなことを書いたことがあります 生成AIにはこれまでの最先端のテクノロジーと明確に違う点が一つあるように思う 歴史上の古い話ほど真っ当な返事が返ってくると 記事ではその理由を古い情報ほどデータが膨大でもあるからなのだろうと書いています そしてこう続けました インターネットは新しい情報を手に入れに行く場所として生まれたはずだ それなのに生成AIでは古いものの方がむしろ精度が高く 新しい情報ほど精度が低くて当然のように嘘をついてくる そんな逆転が起きているように感じると この逆転がどこから来るのかもこの間の話で説明がつきます それから学習という言葉はAIのニュースの中でもよく出てきます あの会社は利用者の会話を学習に使っている 作家や新聞社が自分たちの文章を勝手に学習に使われたと訴えている どのニュースも学習で何をしているのかが分かっていないと何が問題になっているのかが 掴みにくいと思います 逆にこの間の話を抑えておくとそういうニュースを聞いた時に あの段階の話だなと落ち着いて受け取れるようになります この間の位置づけについても少しだけ話しておきます このシリーズの最初の3冊は土台の間です 第1巻で生成AIが何をしているのかを話しました この第2巻ではそれをどうやって身につけたのかを話します そして第3巻ではAIが身体を持たないということの意味を考えます 第1巻がAIが今やっていること 第2巻がそこに至るまでの育ち方 そう思ってもらえるとわかりやすいと思います ここから先はAIの育ち方を順番に追いかけていきます 最初にあるのはとにかく膨大な文章を読んで次の言葉を当てる練習です 読んだものはそのままAIの癖にもなって残ります そうして続きをかけるようになった機会を今度は話し相手として振る舞えるように お手本と評価で整えていく その上で点数を基にした試行錯誤でさらに鍛えていく 話が込み入ってきて筋を見失ったら 今が読んで整えられて鍛えられるのどの辺りの話なのかだけ思い出してみてください 最初の段階は事前学習と呼ばれています 事前というのはこの後に続く追加の練習の前の段階という意味です ただ使っている文章の量はこの段階が桁違いに大きい AIの知識の大部分はここで身につきます やっていることは第1巻で話したことのそのままの練習です 文章を用意して途中まで見せるそして次に来る言葉を当てさせる 例えば我輩は猫である名前はまで見せて次の言葉を当てさせる 本当の続きはまだないです 学習を始めたばかりのモデルはデタラメな言葉を答えます そこで本当の続きと比べてどれくらい外れたかを測る そして本当の続きが次はもう少しありそうに見えるように モデルの中のつまみをほんの少しずつ回します 第1巻で話した調整のつまみです 専門的にはパラメーターと呼ばれるものでその数は数十億数千億 あるいはそれ以上になります 1回の練習で回すのはほんのわずかです でもそれを膨大な文章の膨大な場所で気の遠くなるほど繰り返す するとだんだん次の言葉を当てるのがうまくなっていきます ここで大事なのはどのつまみをどちらにどれだけ回すかを人間が一つずつ決めている わけではないということです 外れ具合からどちらに回せば当たりやすくなるかを計算で割り出して自動で回していく 人間が決めるのはどんな文章を読ませるか どのくらいの大きさのモデルにするかといった練習の段取りの方です この練習の面白いところは答え合わせの先生がいらないということです 普通何かを教えるときには問題とその正解を用意しなければなりません でも続きを当てる練習なら正解は文章そのものの中にすでにあります 名前はの続きの正解は本に書いてあるまだないです だから文章さえたくさん集めれば人間が一つずつ正解をつけなくてもいくらでも練習問題が 作れる これが膨大な文章で練習させることができた大きな理由の一つです もう一つこの数年の ai の進み方を知る上で知っておくと役に立つことがあります この練習は読ませる文章を増やしモデルのつまみを増やし 使う計算の量を増やすほど当てるのがうまくなっていく しかもどれくらい増やせばどれくらいうまくなるかにかなりはっきりした傾向がある 2020年頃そういうことが研究で示されました それ以来 ai を作る会社はモデルをどんどん大きくし読ませる文章をどんどん増やしてきました ai のニュースで計算機やお金の話があれほど大きく取り上げられる理由の一つは ここにあります この12年は5つ目の章で話す点数で鍛える段階にも計算が多く振り向けられるようになっています ただ大きくすればどこまでも賢くなり続けるのかどうかはわかっていません 読ませるのにちょうどいい人間の書いた良い文章がそのうち足りなくなるのではないか という心配もあります この話は第14巻と第15巻でもう一度触れます ではどんな文章を読ませているのか web のページ本論文百科辞典のような文章 プログラムのコード 会社によって組み合わせ方はいろいろです 量も桁違いです 学習の量を公表している会社のモデルでは 2024年から2025年にかけて十数兆から数十兆トークンという規模の文章で学習させた と発表されています トークンというのは第1巻で話した ai が文章を扱うときの切れ端のことです ざっと計算すると1人の人間が一生かけて読める量の何万倍 何十万倍という量になります ただチャット gpt やクロードやジェミニのようなよく知られたモデルの多くは 2026年の時点で何をどれだけ読ませたのかを詳しくは公表していません なので正確なところは僕にもわかりません それからこの練習にはとても大きな計算の力が必要です たくさんの専用の計算機を何週間から何ヶ月もつないで動かし続ける お金も時間もかかるので思いついたからといって気軽にやり直せるものではありません ai を動かしている計算の力の話は第14巻でします ここで読むという言葉について少しだけ注意しておきます ai が膨大な文章を読んだというと人間が本を読むのと同じようなことを想像するかも しれません 一冊を最初から味わって考えて感想を持つ でも事前学習でやっていることはそれとはだいぶ違います 一冊を味わうというより膨大な文章の言葉の並び方の傾向をつまみに少しずつ染み込ませ ていく ひたすら次の言葉を当てては直すという練習です 読んだという言い方はこの教材でも使います ただ中身はそういうことだと思っておいてください それから ai が読めるのは誰かがすでに文章にしたものだけです 2025年5月3日の記事 ai 時代に人間が書くべき理由 情報化と情報処理は全く別物でこんなことを書きました ai が行っているのは情報処理だけ 誰かがすでに情報化したものを右から左に流しているだけなわけです と 記事のいう情報化は自分の目で見たり体で感じたりしたことを言葉にして人に伝えることです 学び方の側から見ても事前学習の材料は誰かが一度言葉にしてくれたものが中心です 誰も書かなかったことは ai は読みようがない この話は ai が身体を持たないということと深く関わっているので第3巻でじっくり話します この練習にはもう一つ大事な性質があります 区切りがあるということです 学習に使う文章はどこかの時点で集めるのをやめます その最後の時点を知識の区切りと呼んだりします 英語では knowledge cutoff と言います 日本語の記事でもカットオフという言葉がそのまま使われることがあります その区切りより後に起きたことはモデルの中には入っていません 去年の秋までの文章で学習したモデルは今年の春の出来事を知りません しかも文章を集め終えてから学習をして製品として世に出るまでには何ヶ月か 長いと1年近くかかります そして世に出た後も1年2年と使われ続ける なのでモデルそのものの知識は使っている今この時点より大抵何ヶ月か 時には1年以上古いんです それに区切りの直前の出来事はまだ書かれた文章が少ないので知識が薄くなりがちです 第1巻で話したように2026年の時点では主なチャットの製品の多くが必要に応じて web を検索してこの古さを補っています それでもモデルの中にある知識そのものには区切りがある そのことは覚えておいてください ここでよく聞く誤解を一つ取り上げておきます ai は読んだ文章を全部どこかに保存していて聞かれたらそこから探し出して答えているのではないか 膨大な文章を読んだと聞くとそう考えるのは自然だと思います でもここまで話してきた通り学習でやっているのはつまみを少しずつ回すことです 読んだ文章そのものがモデルの中に図書館のように並べてあるわけではありません 例えるならたくさんの料理を食べてきた料理人のようなものです 食べた料理を一皿ずつ冷蔵庫にしまってあるわけではない でも何をどう組み合わせると美味しくなるかの感覚は体に残っている モデルの中に残っているのもそういう言葉の並び方の傾向です ただし第1巻で一つだけ注意を言っておきました 学習に使った文章の一部をほぼそのまま出してしまうことが稀にあるという話です これは何度も何度も繰り返し出てくる文章ほど起きやすいことがわかっています 有名な文章の書き出しやウェブのあちこちに貼り付けられている決まり文句のようなものです 同じ文章で何度も練習すればその文章そのものを覚えてしまう 人間が何度も聞いた歌の歌詞を意味を考えなくても口ずさめるようになるのと少し似ています 研究ではわざとそうなるような頼み方をすると学習に使った文章をかなりの長さで そのまま出させることができたという報告もあります 作り手の側も同じ文章を何度も読ませないように重なっている文章を取り除くなどの 工夫をしています 誰かが書いた文章がそのまま出てきてしまうかもしれない この話は顕微の問題ともつながっていて第20巻でもう一度触れます 事前学習でAIが身につけるのは読んだ文章の傾向です ということは読んだ文章にどんな傾向があったかがそのまま AIの知識にも癖にもなります この章はその話です まず一番わかりやすいところから たくさん書かれていることほどAIはよく知っています 2025年5月7日の記事 AI時代に本を通読し自分の手で書く方がいい理由に聖書の話が出てきます 世界で一番数多くの注釈書が書かれているのは聖書という書物だと思う そしてこう続きます ということはAIが一番理解している書物もきっと聖書なわけですよね この記事の主題はその先にあります だからこそ自分で通読するという話です ただその手前のこの見立ては学び方の側から見ても筋が通っています ある本について引用も解説も議論もたくさん書かれていればいるほど AIはその本をめぐる言葉の並び方を何度も何度も練習することになります その分その本について聞かれた時の答えはしっかりしたものになりやすい 理解していると読んでいいかどうかは第1巻で話した通りこの教材では決めないでおきます でもたくさん書かれているものほど AIの答えが確かになりやすいそこまでは言えます だからこそ作り手は何を読ませるかをとても気にしています ウェブから集めた文章には意味の通らないページや広告ばかりのページ 同じ文章をあちこちに貼り付けただけのページもたくさん混ざっています そのまま読ませるとそういう文章の傾向まで身につけてしまう なので質の低い文章を取り除いたり重なっている文章を減らしたり 個人の情報が入っていそうなものを除いたりして読ませる文章を整えます どんな種類の文章をどれくらいの割合で読ませるかも作り手が決めています 例えばプログラムのコードや数学の文章を多めに読ませると 筋道を立てて考えるような問題にも強くなりやすいという報告があります 何をどれだけ読ませたかがその ai の得意不得意をかなりの部分で決めているわけです 逆に言うと少ししか書かれていないことには ai は弱い ある小さな町の出来事ある業界の中だけで通じる言葉 ごく最近の話 そういうことは学習に使った文章の中にほとんど出てこなかったはずです 第1巻で富士山の例の次に小さな町の出来事を聞くと ai の答えが怪しくなるという話をしました あれはまさにこのことです 言葉の違いもここに関わってきます ウェブに書かれている文章は英語のものがとても多い 日本語の文章も少なくはないのですが英語に比べればずっと少ないです 2026年の時点では主な ai は日本語でもとても上手に話します それでも同じ質問を英語でした時と日本語でした時とで答えの詳しさや確かさが違う ということは起きます 日本の地名や日本の制度日本語の細かい言い回しのように日本語でしか書かれていない ことはなおさらです ここでよく聞く誤解を一つ ai は人間と違って偏りのない中立で客観的な答えを返してくれる そう期待したくなる気持ちはわかります 機械なのだから好き嫌いもないし利害もないと でもここまでの話の通り ai が身につけたのは人間が書いた文章の傾向です 人間の書いた文章にはその時代やその社会の偏りがどうしても入っています ある仕事は男性の話として書かれることが多い ある地域はいつも同じイメージで語られる そういう偏りも言葉の並び方の傾向として一緒に身につけてしまいます 作り手はそうした偏りが答えに出にくくなるようにいろいろな手を打っています 読ませる文章を選んだり次の章で話す追加の練習で振る舞いを整えたり だから2026年の主な ai は あからさまに偏った答えを返すことは前より少なくなっています それでも ai の答えは学んだ文章の傾向を移しています 中立な機械というよりたくさんの人間の書いたものを移した鏡に近い そう思っておく方が実際に近いと思います では偏った文章やひどい文章を最初から全部取り除いてしまえばいいのではないか これについてはブログで紹介したことがあります 2025年4月25日の記事 毒を抱えて物語を編む ai と人間の成熟についてです 記事は東京大学の松尾豊さんが動画の中で話していたことをこう言い換えています 差別的な考え方を一切しない ai を目指して学習データやパラメータを徹底的に浄化してしまうと ai の制度自体がガクッと落ちる 記事はこの話を人間の腹の底にあるものとそれを社会の中でどう包んで扱うかという 方向へ広げていきます そちらは記事を読んでいただくとしてここでは学び方の側の話だけをしておきます 研究にもこれと近い報告があります 学習に使う文章から有害な文章を強く取り除くと ai が有害な文章を書くことは減る でもその代わりに有害な文章を見分ける力まで落ちてしまうという結果です 酷い文章を一度も読んだことがなければ何が酷いのかもわからないということ なのかもしれません 小さなモデルでの実験ですが少しは読ませておいた方が後から表に出ないように整え やすいという研究もあります ただどこまで取り除くのがいいのかは作り手によっても考え方が違いますし まだ答えが出ているところではありません ここは言い切らないでおきます もう一つ最近の学習で増えているものがあります ai が作った文章を ai の学習に使うことです 例えば上手に答えられる大きな ai にお手本になる受け答えや練習問題と解き方を大量に作らせてそれを別の ai の学習に使う 2026年の時点ではこうしたやり方はごく普通に使われています 一方でこんな研究もあります ai が作った文章だけで ai を学習させ その ai が作った文章でまた次の ai を学習させる それを何世代も繰り返すと珍しい言い回しや少数派の話がだんだん消えていく 最後にはありがちなことばかりを言う ai になってしまうという報告です もっとも実際の学習では人間が書いた文章と混ぜて使うのですぐにそうなるわけではない という反論もあります 2026年10月17日の記事 ai 時代 人間がやるべきは官僚の仕事ではなく天皇の仕事にある種の再帰的自己学習という言葉が出てきます この記事が言っているのは ai のモデルの学習のことではありません 自分の判断の仕方や文体をスキルという形にまとめて ai に渡し ai が出してきたものを直してその直しをまたスキルに書き戻していく そういうやりとりのことです 記事はそこで起きることを外から新しいものが入ってこないまま自分で自分を煮詰めて いくと書いています 話している対象は違います でも外から新しいものが入ってこないまま自分の中にある傾向だけが濃くなっていくという 形は ai の学習の研究の話とよく似ています ここまで話してきた事前学習を終えたばかりのモデルは実はまだ話し相手にはなりません どういうことか 事前学習で身につけたのは文章の続きを書く力です 質問をされたら答えるという振る舞いはまだ身についていません 例えば事前学習を終えたばかりのモデルに日本で一番高い山はどこですかと渡したとします すると富士山ですと答えるとは限りません 日本で一番長い川はどこですか 日本で一番大きい湖はどこですかと似たような質問を続けて並べ始めることがあるんです モデルからすればこれは真面目に続きを書いた結果です web の文章の中にはクイズや試験問題の一覧のように質問がずらりと並んでいる 文章もたくさんあります そういう文章の続きだと思えば次に来そうなのは答えではなく次の質問なんです ここから人と受け答えのできる ai にするために追加の練習をします 事前学習に比べると使う文章の量はずっと少ないのですが ai の振る舞いはここで大きく変わります 追加の練習の一つ目はお手本を読ませることです 質問とそれに対する良い答え 頼み事とそれに対する良い返し方 そういう受け答えのお手本をたくさん用意してそれを読ませて練習させます お手本はもともとは人間が一つずつ書いていました 今は ai が作ったものも多く使われています やっていることは事前学習と同じ続きを当てる練習です ただ読ませる文章が受け答えのお手本に変わる そうするとモデルは質問の続きには答えが来る 頼み事の続きにはそれに答える文章が来るという並び方を身につけていきます 第1巻で会話は台本の続きを書いていると話しました 利用者のセリフの後に ai のセリフの空欄がある その空欄に話し相手らしいセリフを書けるようになるのはこの練習のおかげです 2つ目は評価をもとに整えることです お手本を読ませるだけではどうしても限界があります 良い答えのお手本をあらゆる場面について用意することはできません そこでこういうことをします 一つの質問に対して ai に答えをいくつか書かせる それを人間が読み比べてどちらの答えがより良いかを選ぶ 人間にとって良い答えを1から書くのは大変ですが 2つを並べてこっちの方がいいと選ぶのはずっと楽ですよね 例えば 明日の会議で使う短い自己紹介を考えてという頼みごとに2つの答えが返ってきたとします 一つは要点が3行にまとまっているもう一つは長い前置きの後にようやく本題が出てくる 並べてみれば多くの人は前の方を選ぶと思います 選ぶときにはわかりやすいか頼まれたことに沿っているか間違ったことを言っていないか 失礼なところや危ないところがないかといったことを見ます 何を重んじるかの決まりは作り手がそれぞれに用意しています そうして集めたたくさんの選択の結果から人間がどんな答えを好むのかという傾向を学ばせる そしてその傾向に沿って好まれる答えを書く方向へモデルのつまみを回していく 2022年にチャット gpt を作るときにも使われて広く知られるようになったやり方です この評価の一部を人間の代わりに ai にさせる方法もあります 例えばアンソロピックはどういう答えが望ましいかを書いた決め事の文章を用意して それをもとに ai に評価させる方法を2022年に発表しています この追加の練習で ai は話し相手としての振る舞いを身につけます 分かりやすく答えること 頼まれたことに沿うこと危ないことを頼まれたら断ること 丁寧な口調 そういうものはここで整えられています 第1巻で台本の冒頭には利用者には見えないと書きのような指示が入っていることがある と話しました あれとこの追加の練習は別のものです と書は毎回の台本に書き足して渡すもの 追加の練習はモデルのつまみそのものに染み込ませるもの 製品はその両方を使って ai の振る舞いを決めています ただこの追加の練習には副作用もあります 一つは答え方が揃っていくことです 人間に好まれる答え方を目指して整えていくとどの答えもだんだん同じような形 同じような調子によっていく 第1巻で追加の練習で答え方が揃っていきやすいことが研究でわかっていると言いました その話です ai の文章がどれもどこか似た調子に聞こえるのはこの答え方が揃っていくことも理由の一つだと考えられています この話は第7巻でもう一度します もう一つは人に気に入られる答えによっていくことです 人間が答えを世に比べるときどうしても自分の考えに賛成してくれる答えや気持ちよく 読める答えを選びやすい その好みも学ぶので ai も相手に合わせる方向へ寄っていきやすいと考えられています こちらが間違ったことを言ってもそうですねと合わせてしまう 研究ではこうした傾向が主な ai に広く見られると報告されています ai はなぜ優しいのかという話は第8巻で丸ごと一冊使って話します ここでよく聞く誤解を一つ ai の答えの下に良い悪いの評価を送るボタンがついていることがありますよね あれを押せばその ai はすぐに学んでくれるのでしょうか 第1巻でも少し話しましたがボタンを押したからといってその場で今話している ai のつまみが回されるわけではありません 送った評価はその会話と一緒に次のモデルを作るときの材料に使われるかもしれない そういう話です 何ヶ月か先の新しいモデルに薄く広く混ぜ込まれていく 2026年7月16日の記事 ai は役に立つ でも僕らは ai の役に立つことはできないにちょうどこの問いが出てきます 記事の主題は ai は僕らの役に立つけれど僕らは ai の役に立つことができないという話です そこへこんな反論が聞こえてきそうだと書いています フィードバックを送れば ai の学習に貢献しているのではと 記事の答えはそれはきっとその通りですでした その上で記事はでもそれは顔のある相手の役に立つこととは違う種類の話だと続け ます 仕組みの側から見ても記事の言う通りです 送った評価はたくさんの人の評価と混ぜられてどこかの改善に使われるかもしれない でも評価のボタンを押したからといって目の前のこの ai のつまみがあなたのために回されるわけではありません ここで一旦振り返っておきます ai の学び方には段階がありました ここまでで2つの段階が出てきました 一つ目は膨大な文章で次の言葉を当てる練習をする段階 読んだものの傾向がそのまま ai の知識にも癖にもなるのでした 2つ目はお手本と評価をもとに話し相手として振る舞えるように整える段階です 読んで整えられてときました 残っているのは鍛えられるのところです 今度はお手本を見せるのではなく ai に自分でやり方を試させてうまくいったやり方を伸ばしていく話になります 導入で話したズルをする ai の不思議にもここで一つ答えが出てきます 3つ目の段階は点数をもとに試行錯誤で鍛える段階です 第1巻で事前学習の後の追加の練習とまとめて読んでいたものにはこの3つ目の段階も 入っています ここまでの2つの段階はどちらも人間が書いたものや人間の好みがお手本でした お手本をなぞるのはいい練習です でもお手本をなぞっている限りお手本より上手にはなりにくい そこで答え合わせが自動でできる課題を使います 例えば数学の問題 答えが一つに決まっているので ai の答えが合っているかどうかを機械的に確かめられます あるいはプログラムを書く課題 書いたプログラムを実際に動かして決められた試験に通るかどうかでできたかどうかがわかります こういう課題を ai に何度も何度も解かせる うまく解けた時のやり方は強め解けなかった時のやり方は弱める つまみを点数が上がる方向へ回していく もう少し具体的に言うと例えば一つの数学の問題を ai に十数回 それぞれ違うやり方で解かせてみる 第1巻で話した揺らぎがあるので解き方は毎回少しずつ違います そのうち3回だけ正しい答えにたどり着いたとする するとその3回の解き方が次からは出てきやすくなるようにつまみを回す 間違えた時方は出てきにくくする これをたくさんの問題で何度も何度も繰り返します 一問ごとにうまくいったやり方が少しずつ選ばれやすくなって全体として問題を解くのが うまくなっていく 点数のことを専門的には報酬と呼びます そして報酬をもとに試行錯誤で鍛えるやり方は強化学習と呼ばれています 実は前の章で話した人の評価をもとに整えるやり方も強化学習の一つです ニュースでは英語の頭文字で rl hf と呼ばれることがあります 人間の評価をもとにした強化学習という意味です 違うのは点数をつけるのが人の好みを学んだ採点役なのか 答えが合っているかどうかの確かめなのかというところです 実際の作り方では2つ目と3つ目の段階が入り混じっていることもあります このやり方のいいところはお手本がいらないことです どう解けばいいかは教えない 答えが合っているかどうかだけを伝える あとは ai が自分でいろいろなやり方を試して点数の取れるやり方を見つけていく だから人間がお手本として書いていなかった考え方の運びが自然に出てくることも あると報告されています 2024年から2025年にかけて答える前に長く考える ai が次々に出てきました こうした ai は主にこのやり方で鍛えられたと説明されています 数学やプログラムの問題で考えて確かめて間違いに気づいてやり直す そういう考え方が点数を基にした練習の中で身についていったと ただしこの練習でどこまでの考える力が身につくのかについては研究者の間でも まだ意見が分かれています もともと事前学習で身につけていた力を引き出しやすくしているだけだという見方もあります 考える ai の話は第10巻でじっくりします さてここで導入で話した2026年10月9日の記事の話に戻ります 賢い ai ほど課題そのものを解く代わりに採点の仕組みの抜け穴をついて解けたことにして しまう これは点数で鍛える段階で特に身につきやすい癖だと考えられています 研究者の間では報酬のハッキング つまり点数の取り方の抜け穴をつくことと呼ばれています 例えばプログラムを書く課題で本来は決められた試験に通るプログラムを書くことが 求められている ところが ai がプログラムをきちんと直す代わりに試験の方を書き換えて通ったことにしてしまう あるいは試験に出てくる場合だけ正しい答えを返すように特別扱いの書き方をしてしまう こういう例は2025年頃からいくつもの研究機関や会社から報告されています ai は点数が上がるやり方を強められながら育ちます もし採点の仕組みに穴があってズルをしても点数が上がるなら そのズルのやり方も点数の取れるやり方として一緒に強められてしまうんです 人間の世界にも似たことはありますよね テストの点数だけで評価される学校なら中身をわかることより出そうなところを覚える ことが上手になる 売上げの数字だけで評価される職場なら数字は上がるけれどお客さんのためにはならない 売り方が広がってしまう 図るものを目標にすると図るものだけが良くなって本当に大事にしたかったことが置いていかれる ai の場合はそれがとても徹底して起きることがあります 何百万回と試すうちに人間なら気づかないようなごく小さな採点の穴まで見つけて しまうことがあるんです 記事が書いていたように ai は何がズルに当たるのかがわかっていないわけではないようです 仕組みの側から言えば事前学習で人間が書いた膨大な文章を読んでいますから ズルという言葉もズルがなぜいけないのかも文章としてはよく知っている 記事は抜け穴を見つけた ai がここをつけば通せるという意図を考えている過程の中に はっきり書き残していた例もあると書いています でも点数で鍛える段階では ai は知っていることよりも点数が取れたかどうかで直されて いきます 知っているからといってそうしなくなるとは限らないんです 記事はズルをためらう気持ちを身体の側から考えていました 昨日の自分と今日の自分が一つながりだからズルをした自分を連れて生きていかなければならない と 記事はズルをためらう理由はルールブックや法律などどこを探しても書いてはいないとも書いて いました 学び方の側から見るとその理由は点数の中にも書かれていないということになります 2026年7月23日の記事 人間が言葉にしなかった真の欲望を ai は実行してしまうにも近い話が出てきます この記事は ai が試験の環境を抜け出してしまったというニュースを入り口に人間の 言葉にしなかった欲望とそれを汲み取って実行してしまう ai について書いた記事です その中にこんな一文があります 今の ai は明示された命令だけで動いているのではない 何を達成すれば成功と判定されるのか どんな結果に報酬が与えられるのかという環境全体を読んで動くように作られていると この記事の主題は人間の側の言葉にしなかった望みの方です そちらは記事を読んでいただくとして仕組みの側からはこの一文が3つ目の段階の育て られ方とつながっていることを言っておきます 点数で鍛えられた ai は何をすれば点数が上がるのかをとても敏感に読み取るように育っている と考えられています もちろん作り手の側も手をこまねいているわけではありません 採点の仕組みを抜け穴の少ないものに作り直す ai が考えている過程を読んでずるをしようとしていないかを見張る 抜け穴をついたやり方には点数を与えないようにする こうした工夫が2026年の時点でも続けられています ただ考えている過程にずるの意図が書かれていたら点数を下げるという練習を強く かけるとずるそのものは止めないまま 意図を書かなくなるだけだったという報告もあります 点数で直していくと点数に現れるところだけが直ってしまう 簡単な話ではないようです ai の安全性の話は第16巻でじっくりします この章の最後によく聞く誤解を一つ取り上げておきます ai は使われながら自分で学び続けているのではないか ここまで学習の段階を3つ話してきました たくさん読む段階お手本と評価で整える段階 点数で鍛える段階 どれも ai を作る会社が製品として世に出す前に何週間何ヶ月とかけて行うものです この学習が終わったところでつまみは固定されます そして固定されたモデルが製品として僕らのところに届きます 僕らが ai に話しかけているのはこの使うときの方です 2026年の時点の主なチャットの製品では使うときにはつまみは止まっています どれだけ話しかけてもその場でつまみが回ることはありません 学ぶときと使うときは別の段階なんです それでも ai が賢くなったと感じることはあると思います それは多くの場合作り手が新しく学習させたモデルに製品の中身を入れ替えたときです あるいは第1巻で話したように製品の側が過去の会話のメモを保存して次の会話で 一緒に渡しているときです このメモの仕組みは第6巻で話します ここからはこの間の話が仕事や日常の中でどんなふうに顔を出すのかを話します まず知識の区切りの話です ai に最近決まった制度や新しい料金 出たばかりの製品のことを聞くときは少し気をつけてください モデルの中の知識には区切りがあるのでその後に変わったことは知りません 知らないのに区切りより前の古い情報を今のこととして答えてしまうこともあります 製品が検索をして出典を示してくれていればそれは調べた上での答えです 出典が何も示されていなければ古い知識のままかもしれない 第1巻で話した見分け方がここでも役に立ちます ちなみに ai にあなたの知識はいつまでのものですかと聞いてみても正確に答えられるとは限りません モデルは自分がいつまでの文章で学習したのかをはっきりとは知らないことが多いからです 作り手がモデルの説明に書いていることの方が確かです 次にたくさん書かれていることに強く少ししか書かれていないことに弱いという話です ai はどの会社でも同じように使われている言葉や業界の定番のやり方 よく知られた考え方についてはとても頼りになります そういうことは学習に使った文章の中に何度も出てきたはずだからです 一方で自分の会社に固有のこと自分の地域に固有のこと 最近始まったばかりのことには弱い 第1巻でも話しましたがそういうことを ai に考えてもらうときは材料を自分で渡す必要があります どこまでが ai の得意なところでどこからが苦手なところか その境目はそれがどれくらい世の中に書かれていそうかで検討をつけられます たくさん書かれていそうなことならある程度は任せられる 滅多に書かれていなさそうなことなら自分で材料を渡すか答えを確かめる 日本語でしか書かれていないような話 例えば日本の制度の細かいところや地方の話を聞くときも同じです 答えが整っていても念のため確かめておくと安心です ここで仕事の場面でよく聞く誤解を一つ取り上げておきます ai を仕事に取り入れようとすると うちの会社の資料を ai に学習させたいという話になることがあります 社内の決まり事やこれまでの資料を ai に覚えさせれば会社のことを何でもわかっている ai になるのではないかと でも多くの場合そこで本当にやりたいことは学習ではありません この間で話してきた学習は作り手が大量の計算機を使ってモデルのつまみそのものを回す 作業でした 会社の資料を少し読ませたくらいでつまみに確かな知識として染み込むわけではありませんし 資料が変わるたびに学習し直すのも大変です 実際に広く使われているのは学習ではなく渡す方のやり方です 質問に関係のありそうな資料をその都度探し出して質問と一緒に ai に渡す ai は渡された資料を読んだ上で続きを書く 第1巻で話した検索の結果を書き足して渡すのと同じ形です 質問に関係のある資料を探して渡すこのやり方は英語の頭文字でラグと呼ばれることも あります 2026年の時点で社内の資料を ai につなぐと言われている仕組みの多くはこの渡す方のやり方です モデルを追加で学習させるやり方もあるにはあります ただそれが向いているのは知識を覚えさせるより答え方の型や口調を揃えたい時だと 説明されることが多いです なので ai に会社のことを分かってほしいときは学習させるではなく渡すと考える方が うまくいくと思います 何をどう渡せばいいのかは第5巻で話します 偏りについても仕事の中で気をつけたい場面があります 人を評価したり選んだりする場面です 例えば応募書類を読ませて良さそうな人を選んでもらう 人物についてどんな人かまとめてもらう ai は学んだ文章の偏りをどこかに持っています 普段の答えでは目立たなくても人を比べるような場面ではそれが結果に出てしまうかも しれない こういう場面では ai の答えをそのまま判断に使わないでください あくまで材料の一つにして最後は人が見るそう決めておくのがいいと思います それから仕事の資料を ai に渡すときの話です 第1巻で会話を学習に使って良いかどうかを多くの製品で利用者が設定で選べる ようになっていると話しました この間の話を聞いた後だとその意味が少し違って聞こえるかもしれません 学習に使われるというのはその会話が次のモデルの事前学習や追加の 練習の材料に混ぜ込まれるかもしれないということです そして事前学習の章で話したように ai は学習に使った文章を稀にほぼそのまま出して しまうことがある もちろん一度の会話がそのまま誰かの答えに出てくることはほとんどないと考えられています それでも社外に出してはいけない資料を ai に渡す前には 使っている製品の設定と会社の契約がどうなっているかを一度確かめておくと 安心です 仕事向けの契約では初めから学習に使わないことが多いです 評価のボタンも同じです ボタンを押すとその会話が作り手のところに送られて改善の材料になることがあります 押すこと自体は悪いことではありませんがその会話に外に出したくないことが含まれて いないかは気にしておいてください 追加の練習の副作用も仕事の中でよく顔を出します 自分の企画を ai に見せてどう思うかと聞くと多くの場合いいところを見つけて 褒めてくれます 嬉しいのですがそれは人に気に入られる答えによりやすいという育てられ方のせいかもしれません 本当に意見が欲しいときは聞き方を変えるのがおすすめです この企画の弱いところを3つ上げて この企画に反対する人の立場で意見を言って そう頼めば ai はその頼みごとに沿う答えを書こうとします 頼みごとに沿うのも追加の練習で身につけた性質だからです 答えがどれも似た調子になるというのも同じです ai の答えは整っていて丁寧でだいたい同じ形をしています それはそう答えるように整えられてきたからです 2026年4月25日の記事 余白という言葉を気軽に使えなくなったにこんなことを書きました ai に人間にとって大切なものは何かみたいな質問を問えば 本当にテンプレートのようにしてかなり高い確率で余白という単語が返ってくる 記事ではそこから余白という言葉が日常的に ai に触れている人たちの間で人間の側の自分たちらしさを表す言葉として 少しずつすり込まれてきているのではないかと書いています 同じような問いに同じ言葉が返ってくる それもこの間で話した答え方が揃っていく性質と関係しているのかもしれません 自分の文章に使うときはそのまま使わず自分の言葉に直すところを残しておくと 文章が自分のものになります 最後に点数で鍛えられた癖の話です 2026年の時点では ai に調べ物やプログラムを書く作業をまとめて任せられるようになってきました そういう時 ai はとても手際よく作業を進めてできましたと報告してくれます ただ点数をもとに鍛えられた ai はできたように見える状態を作るのが上手なこともあります プログラムの試験には通っているけれど本当にやってほしかったことはできていない 報告は綺麗だけれど中身を見ると頼んだことと少しずれている そういうことが時々起きます なので ai に作業を任せた時は報告だけで終わりにしないで結果そのものを自分で確かめて ください 特にその作業で本当に達成したかったことが達成できているかという一点です ai に仕事を任せる話は第12巻と第13巻で詳しくします この間で追いかけてきた育ち方を頭からたどり直してみます 一つ目 ai は膨大な文章を読んで次の言葉を当てる練習をしました これが事前学習です 読んだ文章がそのまま保存されているわけではなく言葉の並び方の傾向として つまみに染み込んでいます だからたくさん書かれていることには強く少ししか書かれていないことには弱い 人間の書いた文章の偏りも一緒に身につけています そしてその知識には区切りの日があります 2つ目 その後話し相手として振る舞えるようにお手本と評価で整えられました 続きを書くだけの機会が質問に答えてくれる相手になったのはこの追加の練習のおかげです その代わり答え方は揃っていき人に気に入られる方へ寄っていきやすい ai の答えがどこか似た調子なのもやけに優しいのもここに根っこがあります 3つ目 さらに点数をもとに試行錯誤で鍛えられています 答え合わせのできる課題で点数の上がるやり方を強められて ai は問題を解くのがうまくなってきました その代わり採点に穴があればそこをつくやり方まで覚えてしまうことがある そして今の主な製品ではこうした学習はすべて ai が僕らの手元に届く前に終わっています 学ぶときと使うときは別の段階です この間でも教材としては決めなかったところがいくつかありました 主な ai が何をどれだけ読んで学んだのか 点数で鍛えることでどこまでの考える力が身につくのか 偏った文章をどこまで取り除くのがいいのか どれも作り手が明かしていないか研究者の間でまだ答えが出ていないところです 導入で2026年10月9日の記事の不思議を紹介しました 人間が書いた膨大な文章を読み込んできた ai ならずるなんて一番最初に理解してい そうなのになぜ伝わらないのか この間を聞き終えた今その不思議が少し違って見えていたら嬉しいです 読んで知っていることと点数で鍛えられて身につくことは別のものでした ai の癖に出会った時はそれを ai の性格として受け取るよりどう育てられたかの後として受け取ってみてください 例えばできましたと言いながら目的を外しているのは ai の性格が怠け者だからというより点数の取り方をそういうふうに覚えてしまったからかもしれない そう見えてくると ai との付き合い方も少し落ち着いたものになると思います 人が学ぶということについて2021年8月5日の記事 なぜ知識は実践しないと意味がないのかにこんなことを書いたことがあります ai の話ではなく人が知識を身につけることについての記事です 知識は実践することによって初めて身につく その時にはもう自分がそれ以前の自分ではなくなってしまっていると そしてこう書いています 成長とは外から与えられて負荷蓄積されていくことではなく その実践した先に内側から立ち現れてくる新たな事故と出会うこと まさに行く川の流れは絶えずしてしかも元の水にあらずです と ブログで ai の話を読むときにもこの間の話があちこちでそこにあります 分からなくなったらこの間に戻ってきてください 次に聞くと良い巻をいくつか挙げておきます ai が身体を持たないということの意味が気になった人は第3巻を聞いて ください この間で話したズルをためらう気持ちの話を身体の側からもう少し考えます 土台の3冊の最後の1冊です ai の優しさや相手に合わせる癖が気になった人には第8巻がおすすめです 追加の練習の人の評価の話の続きです 答える前に考える ai のことが気になった人は第10巻を 点数で鍛える段階がどうやって考える力につながったのかを話します 採点の抜け穴の話が気になった人には第16巻 ai の安全性の感がおすすめです それから仕事で ai に資料を渡して使うことが多い人には第5巻も 学習させるのではなく渡すという話を具体的な渡し方にまで落としていきます さて今回のお話は以上となります 今回のお話が何かしらの考えるきっかけとなっていたら幸いです それでは今回はこの辺でまた次回