# ティービエス・フォートキャスト スクリーンレスメディアラボ ティービエスラジオが設立した音声メディアなどの可能性を追求する研究所 スクリーンレスメディアラボ 毎週金曜日のこの時間は ラボのリサーチフェローで情報社会学がご専門 学習院大学非常勤講師の塚越健二さんに 最新の研究成果など報告してもらいます。 よろしくお願いします。 よろしくお願いします。 お願いします。 さて、今日はどんなテーマでしょうか? 今日はですね、脳の活動から 今、誰の声を聞きたいのかっていうのを読み取るようなですね そういった新しい聴覚技術に関する紹介ですね。 なかなか面白い研究なんですけれども よくこのコーナーでお話ししている中に カクテルパーティ効果っていうのを よくこのコーナーで言うことあるんですが 聞いたこと皆さんありますよね? 結構メジャーになってきた気はしますよね。 なんかね、うるさいところにいても 塚越さんって言われると、ああ、はい!みたいな 言ったりとか、歌々で電車でしていても 赤坂って言ったら、おります!みたいな感じになっちゃう。 おりますとは言わないですけれども そういうことってありますよね。 これって、やっぱりその 何が大事かっていうのを自分で決定して その音は聞こえるようになっているということで 選択的聴取なんて呼ばれたりすることがあります。 おそらく我々が持っている ある種の能力というか、ことなのかなと思うわけですが 大事な情報を聞き分けるという そうなんです。素晴らしいことなんですが どうしても華麗だったり難聴ということもあると 複数の音から特定の声を聞き分けること 難しくなる場合もあります。 ただしですね、もちろん今の補聴器にもですね ものにもよりますけれども 交通騒音とか背景音を抑えて 会話を聞き取りやすくするような機能が 搭載されているものもありますし これもよくコーナーでお話ししている AirPods Proみたいなちょっと高いというか いいイヤホンになりますと 正面にいる相手の声を聞き取りやすくする 会話を強調するというモードだったりとか 周囲の騒音に合わせて 聞こえ方を調節する機能があったりしますし iPhoneにもですね サイレンとかドアベルなどの音を認識して 通知してくれる機能もあったりするんですね アクセシビリティというところから サウンド認識というのをやっていただくと いろいろ設定することもできたりします こういったもの自体は いろいろ進んでいるんですけれども あくまでこれ 音の種類とか聞こえてくる方向というのを 手がかりにしている そういう技術なんですが 利用者がユーザーが頭の中で この話聞きたいなとか この音聞き取りたいなっていうのは なかなか今の技術だとなかなか難しいわけですよね これをですね こうした課題に対して これまで研究されてきた対象にですね 聴覚的注意デコーディングという オーディトリーアテンションデコーディングという 技術があるんですけれども 難しい名前ですけれども すごく簡単に言うと 脳波を計測して 本人がどういう声に 注意を向けているのかを検出しましょう という技術なんですね つまり脳波から この人は心の中を覗くんじゃなくて どこに意識を持っているのか ということを計測する そういう技術になっています これ以前もコーナーで 脳にいろんな治療とかで 電極を埋め込んでいる方っていうのが 特にアメリカとかには多いんですけれども そういった方から 話そうとしている言葉を読み取る研究とかですね 声が発することが難しい方とかに 脳波から言っていることを 探るなんていう研究は実際にあるんですけれども こういったことの研究は実際あるんですけれども 読み取ることはできても 聞こえ方を改善するみたいなのは なかなか難しいというところで 難しそう 今回はですね アメリカ・コロンビア大学などの研究チームが 今年の5月 脳の活動から聞きたい声 聞きたい声っていうのを推定して その声をリアルタイムで大きくする っていう研究論文を発表しているんですね なんだろうって感じですよね どういうものかというと まず実験に参加していただいたのが 4名の方で 喧嘩の検査のために 脳活動を図るために 電極というのを頭蓋に入れている 脳内に入れているということなんですね なので微弱な電波とか脳内に流れているものを 割と計測しやすい方で 聴力は正常の方 この人たちにですね まず参加者 左右にスピーカーが置いてあって 両方から異なる2つの会話が流されていると 会話が 人が4人分の声っていうんですかね なんかおじさんたちが喋っているとか ガヤガヤしている そうですね 中学生が喋っているみたいなのが わーっと聞こえてきますと それでですね 一方の方の会話に ちょっと注目してください というふうに言うわけですよね こうやって チュンチュンって注目をすると これ脳波から得られたデータで 参加者が聞いている 聞きたいと判断した声を大きくして もう一方は小さくするということを いろいろ繋いでできた 試してみたという そういう実験なんですけれども これね 参加者が注意を向けた声を判定する精度 4人それぞれ分かれているんですが 72%から90.3%まで 4人で分かれてますけど 7割はある程度それが分かるということで 結構 この人が何を聞こうとしているのかは 脳波から分かるっていう なるほど 7割から9割だから結構ね まあまあな精度ですね 結構いいですよね 実際にこの機能によって 会話の聞き取りっていうのは改善するし 参加者もこのシステムが動いているときの方の 音声を好みましたと 聞きやすいっていうことだと思うんですけれども よく聞こえてくるから まあそれはそうなのかなということです 途中で じゃあ別のこの会話の方に 注意をしてくださいっていうと やっぱりシステムがそっちの方に またね さっき左の声が大きかったの 今度は右の声が大きくなるっていうのも できたし もうそれは合図を出さずに 自分でこれどっちか選んでください って言って こっちの声聞きたいな って思ったら そっちが本当に大きくなるみたいな 集中して聞きたい方の ボリュームを自動調整してくれるっていう そうなんです すごくないですか 大きくなれ大きくなれ聞こえた って聞こえる すごい じゃあちょっとね マジカルなというか 面白いですよね 実際の耳の聴力以上に そうしたものをサポートしてくれる技術とかがあったら 飲み会とかでね 少し離れたところで この前塚腰くんがさ っていうことを 誰かボソッと言ったのキャッチしたら 超気になるじゃないですか 部長のやばい話みたい 会話の続きを聞きたいってやった時に イヤホンとかが勝手に大きくしてくれて 普通に聞きができちゃうみたいな 本当にね カッコつき超能力じゃないですけど すごいなと思うんですよ 確かに これねただ 音が切り替わるまでには 大きさね だいたい平均5.1秒っていうことで 遅いっていう感じでもないですけれども 現実的にね これ聞きたいっていう時に 5秒待つのはちょっとかかるので ここはねもうちょっとね 高速化 必要かなというところも あったりするわけですけれども ただこれね ノウハウで動く補聴器完成したというわけでは まだなくて お話しした通り 参加者4名の方ですし これあのやっぱり 転換ということですけれども 頭蓋の中に 電極を埋め込んでるっていう形で これ手術がもちろんいるわけで これを一般の人がすぐできるように ってなかなか難しいですよね なるほど そうなると こういうのは非伸縮的って言うんですけれども 要するにそういった 手術的なことをしないっていうことですよね 入り込まないデバイス つまりヘッドセットなんかをつけてですね そこで頭皮とか耳の周囲から脳活動を読み取る 実際にこれ もうすでに10年くらい前から そういったヘッドセットをつけて んってねんじゅることで ドローンを動かすっていうのは 実際にあるんですね アメリカの大学生とかがやってるっていうのは YouTubeとかに動画も上がってますし そういう本当にヘッドセットレベルで できるようになるともっといいのかな ただし音を大きくするっていう目的のためだけに 常にヘッドセットってのはなかなか難しいですよね これ例えばスポーツとか eスポーツとかだと 場合によっては禁止されるかもしれないですよね あーチート 例えば私がよくやってるゲームとかだと 相手がどこに隠れてるかは見えないようになってるけど よーく聞くと コボコボって音がするっていうゲームがあって その中で相手を探そうとするときに そうしたアシストツールがあったりすると もうある種相手を通しできてるというか 見つけやすくなっちゃうじゃないですか そうですね だからチートに確かになっちゃう気はしますね いやだからこれって これを補聴器だったりとか イヤホンだったりとかに 一部でもこういった機能が ある程度代替できるようになるっていうことであると 将来的にですけれども そうするともちろん ユーザーの聞こえっていうことも改善しますし 今私たちが話してるような カッコつき超能力じゃないですけれども ここ大きくしたいみたいな 例えば我々メガネをかけるということで 一律に視力はアップするわけですけど ここもっと遠くまで見たいとか そういうこともできたっていいわけじゃないですか そうですね これのもっと耳盤といいますかね こういったこと 特に脳とか脳波を測るとかっていうのは よくイーロンマスクさんの会社ニューラリンクとかで そういうことやってますけれども 結構その脳波っていうところはね いろんなもの読み取れるとか 危ないっていうような指摘もあったり そこは考えないといけないんですが 一方でいろんなところに使える機能も 同時に研究されているのかなというところですね どういったふうに浸透していくのか ちょっと気になりますね ですね 塚越さんの今日の報告は インターネットのメディアプラットフォーム noteでより詳しく読むことができます 放送終了後に番組サイトにリンクをアップしますので ぜひご一読ください 来週もよろしくお願いします スクリーンレスメディアラボ スクリーンレスメディアリポートでした みんな聞いてね