# はじめに おはようございます。感情の心理学を研究している仁平です。世界の解像度を上げる心理学ラジオのお時間です。この番組では最新の心理学研究のお話や人の心や脳に関するお話をしていきます。いつも聞きくださりありがとうございます。 今日はですね、想像性のお話をしたいなと思っております。自分の研究分野の一つかなと思っています。 2024年、今年出たばっかりの論文をできるだけわかりやすく説明したいと思っております。 # 創造性評価もAI 創造性の研究とは言ったんですけど、AIも割とテーマの一つで、やっぱり切っては切れないところがあるし、 むしろそのAIの力を借りて研究とか、クリエイティブな何かに活かしていくというのは必要なことになっていくんじゃないかなと、 避けられないことかなというふうに思ったりしています。 どういう方向性かというと、創造性ってもちろん創造的なものを作ることも大事だし、そっちを研究するのも大事なんですけど、 同じくらい大事なことがあって、それは創造性をどうやって評価するかという話なんですよね。 何か作ったとかテストとか課題とかやったとしても、それをどう評価するかによって点数が違うということもあり得るし、 違いすぎると良くないよねということとか、素人が芸術とかの創造性を評価したとしても、 それって本当にどれくらい妥当なのかみたいな話もあるじゃないですか。 だからその評価の観点が大事だと。 その評価にAIというか自然言語処理という、自然言語って人間が使う言葉のことなんですけど、 それを処理することによって、まず点数化したりとか、他の指標と比較したりして、一つの指標として使えるんじゃないかということが言われているわけです。 言われているのは、実は2、3年ぐらい前からもうすでにやられていて、自然言語処理というものを使えば創造性評価できるんじゃないかというね。 うまくいっているかどうかは別にして、試みとしては別にこの研究が新しいわけではないんですけど、 特に何が新しいかというと、2つぐらいのやり方でやろうということが結構新しい試みで、 その2つがどういう創造性かというと、 1つが意味的多様性といって、特にこの研究は物語、短い物語を作らせるんですけど、物語で出てくる単語とか言葉の多様性ですね。 どれぐらいいろんな言葉を使っているかということが、1つの創造性の指標になり得るわけです。 同じようなことを、何も関係が深すぎるものをつらつら並べたとしても、あまりそうやって創造的じゃないじゃないですか。 驚きがあったりとか、その組み合わせのストーリーを作るかというね、そういうことがあるほうが創造的な感じがするじゃないですか。 それをAIが評価できるというのが1個あったりします。 もう1つが、知覚的な特徴、詳細な特徴ということで、これもっとシンプルで、見るとか聞くとか触るとか、 そういう知覚的、感覚的な言葉をどれぐらい使っているかということを数を数えるだけなので、 こっちは別にAIとかを使わなくてもできるんですけど、 これもある種の自然言語処理というところで、言葉を分けて、そこから該当するようなワードをピックアップして数をカウントするというね、 そういうことをするだけで、これも1個の創造性の指標じゃないかと。 その心は、知覚的な要素を見るとか聞くとか、そういうことが使われているほどに、やっぱりこの創造性を掻き立てる。 イメージがより鮮明になるというところで、創造的な特典と関連しているんじゃないかというのが、この研究者の新しいところであり、仮説であるというところです。 # 方法 ちょっと前置きにならなくなっちゃったんですけど、やってることはそんなに難しくなくて、人間の 人間参加者に物語を作らせると 3つくらい言葉を渡して、その言葉を使って物語を作ってくださいということでした。 5分程度の短い物語なんで、英語で5分って言うとどのくらいですかね。 多分パワッとできるのかなと思うんですけど、作るということでした。 その単語っていうのをGPT-3かな、これは。 ちょっとGPTじゃなくて、オープンAIのAPIを使って、何か自分でプログラムを作ったんだと思うんですけど、 奥底にあるアルゴリズムというのは、このGPTモデルというのはGPT-3とか。 最後の方にGPT-4の結果も載せていて、これ本当に研究者の悩みかなとか、すごい葛藤があったのかなと思ったりするんですけど、 研究当初はGPT-3とか3.5とかが一番新しかったはずなんですよ。 これ正直に書いてるんですけど、私たちが研究した後にGPT-4というのが出たから、こっちでもやってみたよと、 その結果も追加したよみたいなことを最後の方に書いていて、これ結構大変だろうなと。 進化が早すぎてGPT-3でやってたはずなんだけど、そっちでもやらざるを得ないと。 むしろGPT-3の結果だけ報告しても、何か時代遅れ感が出てきてしまうという、これなかなかつらいなという、 そういうちょっと裏事情があったりするんですけど、基本的にGPT-3で作らせると。 そのAIが作った文章と人間が作った文章を比べる。比べるのも、まず人間に評価させますね。 こちらはまた別の参加者を募集して、その人たちに人間が作った物語とAIが作った物語を読ませて、 いくつかの観点で創造性の評価をしてもらうということでした。 これが人間の評価。AIの評価もあって、これは先ほど言った2つの観点。 1つが意味的な多様性。これはBERTというAIを使いますけど、これもGoogleが開発したアルゴリズムがありまして、 モデルかな、がありまして、これを使って評価をするということができます。 評価というか得点化できる、その意味的な多様性、どれぐらいいろんな言葉を使っているかというのを 評価することができるということです。 もう1つが知覚の詳細、知覚をどれぐらい使っているかというので、先ほど言ったように聞くとか、 見るとか、感じるとかそういう言葉をカウントして、その数を得点化するということをしてもらったということです。 # 結果① 結果に移るんですけども、結果としては一番気になっているのは、その評価のところですね、やっぱり。 評価のところで、人間が評価をしたものと、AIとか、自然言語処理で評価したものっていうのがどれぐらい関連しているかということ、 相関と言いますけど、相関しているかということが知りたかったわけです。 一つ目の意味的な多様性の方で言うと、これ結構すごい高い相関が得られていて、数字で言うと、 もし統計ちょっと知っている方だとピンとくるかなと思うんですけど、相関で言うと0.56とかね、それぐらいだったようです。 人間とAI、GPT-3が作ったストーリーというのは、大体同じぐらいの相関の係数だったということで、Rイコール0.56っていうことでした。 これ結構高い相関で、どういうことかというと、もう人間が創造的だと思ったものは、意味的な多様性も高いということです。 その関係のレベルが結構高かったという、もう右肩上がりの点数になっていたということです。 右肩上がりっていうのは、ちょっとよりややこしくなりましたね。 横軸に意味的多様性っていうものを点数化して、縦軸に人間の創造性評価を得点化すると、大体その点の打たれ方が右肩上がりになっていくよっていうことでございました。 もう一つが、こっちがよりこの研究での新規な点なんですけど、 視覚的な詳細、見るとか聞くとか、そういう言葉の数っていうのが創造性評価と関連しているかと言われると、こっちはもっと関連はしているということなんですけど、もっと関連性が弱いということでした。 相関係数でいうと、大体Rイコール0.2とかそれぐらいだったみたいです。 だから、より人間の創造性評価を予想するものとしては、意味的な多様性を計算してあげたほうがいいんじゃないかということでもあるんですけど、 これら2つを統計で計算してみると、どっちも効果が残ったということで、どっちも使ったらいいわけですよ。 だから、その創造性というものは別に1側面だけじゃないんで、意味的な多様性で説明できることもあれば、視覚的な詳細さで予測できることもあるわけなので、 それをどっちも得点化してあげて、やると人間の評価により近づくんじゃないかということが言われたそうです。 # 結果② すみません、だいぶね、自分の好きなトピックなので長くなってしまっているんですけども、最後にもう一つだけ言うと、 興味ある人もいるかと思うんですけど、人間のストーリーとコンピューターのストーリー、どっちが想像的な点数が高かったかというと、 GPT-3だと差がなかったみたいですね。差がなかったみたいなんですけど、GPT-4でいくとAIの方が高くなっているということで、 これもなかなか面白いなというふうに思いますが、特にあれですね、AIで評価をしてもらうと、 AIはAIの作品を好んだみたいということで、これもアルゴリズムの関係とかもしかしたらあるのかもしれないんですけど、 その辺はあまり深く考えなくてもいいかなと思います。人間の評価をしたというのも物語のプロではなくて素人なので、 あまりどれくらいその評価が妥当だったのかとか、プロが評価したら結果が変わっていたのではないかとか、 いろいろあると思うので、さらっと聞いていただければと思うんですけど、 GPT-3とGPT-4ではやっぱり性能が違うんじゃないかということは一つ言えることかなと思います。 # おわりに はい、というわけでいかがだったでしょうか。今日はAIが創造性評価をする、AIというか自然言語処理というものが評価するということについてお話をさせてもらいました。 2024年、今年出たばっかりの論文です。 自分の去年やった研究を引用してもらってたんですよね。 あの論文、AIの俳句の研究をして、結構いろんな論文に引用してもらってるんですけど、 引用されると通知が届くんですよね。あなたの論文引用されましたよというので読んでみたんですけど、結構自分の興味にダイレクトに刺さるようなテーマで面白かったので紹介させていただいた次第です。 創造性の研究をたくさんやりたいんですけど、何が大変って、もう本当に評価のところで、人間が時間をかけてこの回答は創造性が高い低いというのをやっていかないといけなかったんですよね。 それがとても大変だったというので、これをAIができるってなったら、いろんな観点で創造性の研究しやすくなるし、テストの開発も進むだろうしというので、いい使い方だなという風に個人的には思っています。 ただ最後の方にも言ったんですけど、あくまで素人の評価とすごく関連が高いというので、とてもクリエイティブなもの、めちゃくちゃなんですよね。 クリエイティブなものという言い方が難しいんですけど、あるじゃないですか、理解し難いアート作品、素人が見ても全くわからないけど、プロの技術家とか非評価にはとても評価されているみたいなものはなかなかAIでは評価が難しいんじゃないかなというところももちろんあったりするので、このあたりは使いどころを見極めながらやっていきたいなと思っております。 最後まで聞いてくださってありがとうございました。今日もいい1日にしていきましょう。じんぺいでした。心を込めて。 # 雑談「風邪ひきかけました」 最後1分だけ雑音させてください。 ちょっとね、いつも以上に声が聞き取りにくかったかなと思うんですけど あのー、風邪を引きかけまして なんか今、全然個人的には大丈夫な気持ちなんですけど 昨日はね、若干、こう、気だるさがあったというか あ、これ危ないかもなーって思う でも、なんか別に咳の症状もなければ まあ、熱もね、なかったと思うので まあ、測ってないんでわかんないですけど なかったと思うし だけど、若干怪しかったところがあり 今もね、咳とかはないんですけど 若干、喉だけあまり良くないなという感じはしています とはいえ、僕はいつも ダミ声というか 結構言われるんですよ 別に風邪引いてないのに、今日風邪引いてますか?みたいなね 初めて会った人とかに 聞き慣れたら問題ないと思うんですけど そういうことがあって もしかしたらわかんないかもしれないですけど そういう、あのー 久しぶりにね、そういう あ、風邪やばいかも、みたいなことを思ったというところです 最後に風邪引いたのはね コロナに1回なったんですよね 2021年だったかな の夏になって それ以来かな なので、まあ別に 今回は風邪カウントしなくてもいいぐらいで終わったんですけど まあ、本当に気を付けないといけないなと思うし 健康な体に こうやってね、お話させてもらったりとか 研究できるこの体 健康な体に改めて感謝したいなと思いました それでは