# チャプター 1 はいどうも、しゅんすけです。 それでは今日はこのテーマについて話をしていこうと思います。 ボイスエージェントって知ってますかね? なんか最近リアルバリューで 堀江門利水さんで結構話題のエレクトリがあったんですけど そこでリアルバリューを見て自分もちょっと気になったので 一度作ってみました。 今日のテーマです。 ボイスエージェント、なぜ日本で流行らないのかというテーマでちょっと話をしていこうかなと思います。 音声AIと自然に会話するみんな、これいつ来ると思いますかね? 僕の答えは英語圏では多分もう来てるんじゃないかなと思っていて でも日本ではまだ来ないって思ってます。 なぜか。 今日はその理由を どういう構造なのか説明していこうと思います。 GPT-4Oが出た時って確か音声会話のデモがあったと思うんですけど、あれ結構すごかったですよね。 リアルタイムで会話して 感情も読み取って、ついにAIと普通に話せる時代が来たって思った人も多いんじゃないかなと思うんですけど でも実際に日本語で使ってみてどうでしたってところなんですけど、オープンAIの 会話モードは思ったよりかなりいい感じになっていたんだけど 若干でもなんか思ったより微妙って思ったり 返答が遅かったり 致命的なのは漢字の読み方がおかしいんですよね こう感じた人僕だけじゃないと思うんですけど皆さんどうでしたかね これって僕らの使い方が悪いわけじゃなくて たぶん構造的に日本語のボイスエージェントは難しいんだと思います なぜか、なぜだろう 今日はその理由を3つのモデルの3つの仕組みについて分解して ちょっと説明してみようかなと思います モデル、モデル ボイスエージェントってたぶんこんな感じで3つの構造に分けられると思うんですよね ボイスエージェントってどういうものかっていうと ボイスエージェント、エージェント、エージェントと言いますけど実は3つのモデルが連携して動いてるんですよね 一つ目が スピーチトゥテキスト S2Tって言うんですけど スピーチトゥテキストなんですけど これはどんなモデルかっていうとあなたの声をテキストに変換するモデル 有名なのがウィスパーとか、ウィスパーですよね オープンAIが出した テキスト、音声をテキストに変換するモデルなんですけど これが一つ目です 私が喋ったら その音声を テキストに変換するっていうモデル 二つ目がT2T テキストトゥテキスト これはテキストを受け取って回答のテキストを生成するモデル これはよく使ってるやつです これがいわゆるチャットGPT本体で使っているモデルです 3つ目が T2S テキストトゥスピーチ 生成されたテキストを音声に変換するモデル こんな感じで3つのモデルの構成で分解されて動いているのがボイスエージェントですね この3つが順番に動いて音声で会話している感が生まれるわけです ここからが重要なんですけど 日本語の場合一つ目と二つ目はほぼ問題ないんですよ 自分が喋った音声をテキストにするってやつと テキストをテキスト これはもちろんチャットGPTも問題ないんで問題ないですよね ただ ここから重要なんですけど 音声認識のせいだと多分もう10分ぐらい高い テキスト生成もラグやプロンプトで対応できるので問題ないんじゃないかなと思っていて 問題は3つ目 テキストトゥスピーチがかなり厄介 音声生成 日本語の音声生成には英語にない壁があるんですよ多分 多分というかモデルを作っているのが英語圏なので 全然日本語対応できないっていう問題があります まず何だろう漢字の読み方 今日っていう漢字を今日はの今日の漢字を今日なのに今日とか読んだり なんか 読み方いっぱいありすぎて正しく変換できないっていう 次にイントネーション問題ね アクセントの位置で意味が変わっちゃうとかね 英語にはこの問題がほとんどないんだけど ほとんどないっていうか英語圏でトレーニングされているからそもそも英語に超強いから 日本語よりは英語の方が正しく発音できるって話ね でもう一つ体験を悪くしてしまう原因があって なんだろう 人と人との会話って 超なんか割り込みというかかぶさって喋ってもねえ 止まらないじゃないですか だけどエージェント同士エージェントと会話すると なんか車いつなんか遅かったり 超遅かったり そうすると待ってられずにあでもさあとか言って喋っちゃった場合 ボイスエージェントが webhook 通信でリアルタイムでやり取りをしているとそこが止まっちゃうんですよね なんで これをやると僕が実際試したら 話し終わって返答が来るまでにちょっと不自然なラグができてしまう なんで23秒 のスラッシュフォールドでウェイトしちゃうっていうことなんですよね 自然なやり取りをするにはちょっと23秒のレイテンシーはちょっと クリティカルすぎるっていう話で 会話でさあどうも打ってきて毎回2秒待たれたら結構 ストレス かかるんじゃないかなぁ って思うんですよね この体験かなりストレスがあったんですよ ちょっと結構 今現在日本でボイスエージェントが全く流行ってない理由っていうのが 多分そもそも技術的に到達しがたいのと リアルタイム音声エージェントの精度の調整が難しすぎるっていう問題があるのかな じゃボイスエージェントって諦めるべきなのかって話なんですけど 僕ボイスエージェント結構使いたい派で なんだろうちょっと手が不自由なので 喋ってパソコンとか操作してくれたら嬉しいなぁと思ってるんですけど 今日話した課題っていうのは解決不可能じゃなくてまだ解決されてないだけで 2025年後半から2026年にかけて日本語に特化した音声モデルが出てくるって可能性は 十分ありますよね えっとおまかせAIがどこの部分を頑張っているのかちょっとよくわからないんだけど まあそういう音声モデルのところを頑張ってるんじゃないかなーっていう想定をしています そこを頑張らないんだったら意味がないのかなぁと思っている で大事なのは 大事なのはそう 技術的になぜ今微妙なのかっていう構造をしっかり理解しておくってことが大事なんじゃないかな と思っていてそうすれば 例えば 多分日本語今さナノバナナとかジェミニスリーとかあるじゃん なんでああいうことが往々にしてこれからも起きるはずなので そのモデルが出たときはほぼほぼすべて改善されてしまうっていう というわけなんです だからそれを キャッチアップできるように構造 今日話した3つの構造に分かれるんですよみたいな 8話したの原話した音声をテキストに変えます テキストをテキストに変換してエージェントが話す内容を作ります でそのテキスト音声としてエージェントが テキスト普通スピーチでモデルとして音声に変換しますみたいね そういうどういうふうに動いてるんだろう でどこが技術的に問題なんだろうっていうのは抑えておくといいんじゃないかなぁ と思いましたって話ですね エージェントエージェント言ってますけど多分今巷でエージェントを正しく理解できる人って ほぼいないんじゃないかなと思っていて なんかすごいんでしょでも全然できないでしょまだって言ってるんですけど結構 でなんか3年前流行ってた頃チャット gpt 全盛期のピークの頃はみんなキャッチアップしようとしてたけど そろそろ 情報にすら届かなくなっているんじゃないかなと思ってます なんで私はエージェントについてちょっとねこれがティップスというか色々あげていこう と思いますので引き続きよろしくお願いします今日は以上です