# チャプター 1 まさと、せんちゃんのボイコード Voicy Engineerの声とでやるチャンネル、ボイコード このチャンネルではVoicy Engineerの日々の活動をお話ししています はい、じゃあ今週は ん? 今週の技術ワードトークということで イエーイ 今日はちょっとともさんがお休みですが 夏休みですかね 夏休みですかね、多分 ちょっと遅めの そっか、もう8月末か 怖い 怖いですね なんかオポン・ドン・ピシャのタイミングに 今年帰省したんだけど やっぱ 帰り、日曜日に新幹線の時からめっちゃ混んでたもん いや、絶対そうですよね 自由席とかヤバいこと乗ってる奴が絶対 タイミングずらすのは正しい 本当に夏休みかどうか知らないんですけど 今日だけの可能性もある 休みという事実だけを知っている あ、はい、でもあれか これ配信日はもう9月1日 あ、本当じゃん 早い 月見バーガー食べよう あ、マックですか マック 食べたことないかもしれない え? あ、そうなんだ 毎年食べようと思って気づいたら終わってるみたいな 確かに微妙に期間短いし うん、なんかそのタイミングでちょうどドン・ピシャでマック食べたいことがあんまない わざわざ食べないと食べれない いや、そうですよね しかも奥さんがマック好きじゃなくて はい ちょっと雑談が長くなりましたが いや、1分しかしてない 今週は音声変換ということで はい 音声配信のプラットフォームボイシーなんでね ボイシーでは特に関係ない ボイシーとは直接的には特に関係ないんですけど ちょっと懐かしい話をしようかなと思って 僕が学生時代に勉強してたことを お話しするっていうのを やりたいと思います 僕があんまりこの辺正直詳しくはないので あ、大丈夫 社内に引き出として 社内に詳しい人いない そもそも 詳しくなりたいですね 僕もその もうそれを勉強しなくなってから 7年くらい経つのかな なんで化石みたいな知識なんですか だから最近の事情全然知らないんですけど 当時のことを話してみるって感じで いきたいと思います で 何から話すのかな 音声変換ってまず何のことを言っているのか 多分 色々 この言葉から あれのことねって思いつくパターン いくつかあると思うんですけど 今回は コナン君の蝶ネクタイのイメージ 昔は声質変換とも呼んでいた 英語だとボイスコンバージョンだから 音声変換の方が正しい 直訳措置なんだけど できることが限定的だったりしていて 昔はいろんな難しさがあって だから声質を変えるっていうのを主に ボイスコンバージョンって呼んで 当時は英語で言う時はボイスコンバージョンって言うし 日本語で言う時は声質変換って言ってて 色々技術が発達してきて もっと色んなことまで声質だけじゃなくて 浴用とか アクセントとか 喋り早さとかも場合によっては変えられるのかな 色々変えられるようになって 音声変換って呼んでるの方が最近は多いイメージ 声質変換だけだと外れちゃう やってることと外れちゃってるから せんちゃんが研究した時はまた声質変換だったんですか それをちょっと越え始めていった ちょうど過渡期くらいだ こうやってやったら面白いことできるねみたいな発見が 常にあるからそれは 声質以外も変えるみたいなのもちょっとやってたくらいかな これはいわゆる機械学習 ディープラーニングって呼ばれるものを使って 今はみんなAIって言ってるけど そのAIの一種とも取れる 自然言語でやり取りできるものがAIと最近は呼ばれがちだけど 画像生成とかもAIだしって言われたりするし 画像認識とか音声認識とか もうその仲間みたいな感じかな 感覚的にはよりプリミティブというか ちょっと前のAIと呼ばれてたところみたいなイメージですよね 強いAIと弱いAIっていう概念があって なんかちょっと思い出してきた ボイコードで一回話してるな 多分100回いかないくらいのときめっちゃショックしてた 今何放送くらいしてる? 確かに今何放送してるんだろう もう500は超えてるような気がする どこで見たら早いんだ? チャンネルページかな 642放送してるけど まだ二桁くらいのとき 入社したてくらいのときに一回話してる気がしてきた そのときは音声認識とか音声応声とか こういうのがありますよって紹介する感じの話をしてる気がするんですけど 戻ってきて どんな感じでやるかというと 昔は 昔にもいろいろある 僕が勉強し始めたときに 既に確立されていた方法っていうのは ある人Aさんと別のBさんっていう固定のペアがあって Aさんの声をBさんに変換するみたいな そういう使い方に特化したものが割と研究されていて ペアのデータをたくさん用意する 二人で同じことを喋った音声を 同じフレーズを喋った音声のペアを大量に用意しておいて そのペア間の変換を モデルって普通に言っちゃったけど機械学習 機械学習モデルの説明は難しいな 変換装置を学習させるっていう これをパラレルデータっていう このペアのデータをパラレルデータって呼んでいて 一対一の変換をするっていうのが 主流だった 変換って無邪気な質問なんですけど 変換をするのに機械学習のデータが必要になって なぜですかっていう それは変換元Aさんの方の声の波形だったりとかから 変換だから違うか AさんからBさんにするために機械学習のデータを 覚えさせないといけないっていうのが なぜなんだろうっていう 簡単な問題だったら機械学習はいらなくて 変換を例えば声の高さを2倍にしますみたいなやつだったら ちょっと複雑ではあるんだけど実は 音程の変換って面白くて ちょっと複雑で 音程って例えば1秒間に音の波が何回振動しているかっていうこと だから同じ量のデータを再生にかける時間を半分にしたら 波の波形が変わってしまうんだ そうすると音の波形が変わってしまう そうすると音の波形が変わってしまう 同じ量のデータを再生にかける時間を半分にしたら 波の上下の振動が時間あたりが倍になるから 音程が倍になるっていう仕組みなんだけど 音程ってそういう仕組みなんですね 1秒間に 何回だ? 分かんなくなっちゃった 440Hzがあるから これはそうなんだ 440Hzだったり420Hzじゃなかったりとか色々あるんだけど オーケストラと違うとか それが880Hzになったら2倍高い音 2倍高い周波数は1オクターブ高い音だから デジタル的には同じだけのサンプルを 1秒間で再生したらラーみたいな音が 0.5秒で再生したらもう1オクターブ高いラーに聞こえるみたいな感じ # チャプター 2 になっているから、再生速度を上げるだけで高くなるというのがある だけど、そこまでは簡単で、再生速度を変えずに2倍高い音にするのは結構むずい なるほど、逆に へー 再生速度を変えずに2倍高い音にするのは 波の速さを同じ一定の期間の間で倍にしないといけない? そう、振動の速度だけ上げて、全体の長さを変えないようにしないといけないから サンプルがたくさん必要になる そのサンプルっていうのは デジタルデータだから、配列みたいなものが音源の本体を求めてもらって ちょっと身振り手振りで説明するから 耳だけだと難しいかもしれない 聴かせない置き去りにするんだけど よくサイン波みたいな波の絵とか描かれるじゃない? あれが上がって下がってゼロに戻るが1周期だとしたら それが同じ時間の中で2回繰り返される 上がって下がって上がって下がって戻る 感じにすると1億サーブ上の音になるわけよ 上がって下がって戻るっていう1パターンしか持ってなかったのを倍用意しないといけない 上がって下がって戻る、上がって下がって戻る 2セットになるから、記録量増えちゃう みたいな感じになるから その分間を補完しないといけないとか 間を補完する 足りない情報なんか用意して 細かい話は多分僕の説明間違ってるかもしれない 足りない情報を補完したりとかしないといけない 補完するのは低くするときだっけな ちゃんと考えたら分かるんですけど ちゃんと考える時間が今ないんで 止めておいて 細かいことは置いておいて データの補完とかを間にしないといけない 間引いたりとかそういう考え方が必要で 割と持って帰るのはむずい そうなんですね なるほど だからそこを早くするために 大量のモトデータが必要になるみたいなイメージですか これですか、戻る 難しいけど機械的にできはする 今の話、持って帰るとかは から機械学習はこれをするだけならいらないんだけど 誰かの声の質を違う人の声の質に変えるって 何かを2倍にするとか そういう単純な変換では到底できなくて その関係性を数式に書き出すとかめっちゃむずい 無理なので大量のデータから それっぽい変換の式を吉那に導き出すことが必要で そこが機械学習対象がいい 元の声の人と変換したい声の人をインプットにして そこからこの人の声を頃にするには この数式からにすれば良さそう みたいなのが覚えられてるみたいなことですか 大体そうでちょっと違うところが Aさんの声の特徴の情報を機械学習モデルに入力して 最初はあんまり学習してないから的外れなんだけど Bさんを目指したデータが出力される それと本当のBさんの特徴を比べて 違ったところをモデルがちょっと調整されるっていう のをめっちゃ繰り返すとだんだんっぽいのが出るようになっていくっていう のが基本的な機械学習かなって言っていいかな の仕組みになっている 入り口が2つあるみたいなことですか 入力と出力と正解データって呼び方をするから Aさんの音声を元に Aさんの音声とBさんにそれをしたいですっていうのをインプットとしている Bさん自体は比べて調整しているうちに勝手になっていく 正解データに勝手に寄っていく 一番最初はAさんの情報を入力した後 マジで何の意味もないランダムなデータが出力されるイメージ それとBさんに近いっていうのは Bさんの情報もどっかにあるってことですよね あってどんどんそれが近くなっていくように繰り返されていく なるほどなんとなくわかった 多分ちょっと不透明なところがあるみたいな それは自動で自動でというか 裏側で勝手に何か学習されていっているものなんですか そうだねえっとめっちゃ計算を繰り返せば 何がイメージ近いかな 最近だと逆にコーディングエージェントとかの やってることのイメージで考えてもらうと 割とわかりやすいかもしれないんですけど こういう成果物が欲しいって プロンプトで言ってなんか出てきて レビューでこれ違うって言うと また新しいの出してきて レビューでこれ違うって言うと また何か買えてきてって感じでやってると思うんだけど それに割と近いか なるほどなるほど その情報量が多ければ多いほど お互いの情報量 お互いのじゃないか Bさんの方かBさんの方の情報量が多ければ 情報量っていうかなんか知っている情報が多ければ多いほど Aさんの元の声をBさんに近づける精度が上がるっていう感じ っていうイメージですか そうだね学習がうまくできるならとか モデルの表現力が十分なら データは多ければ多いほどいいし 収録環境とかが良くなかったりすると 的面に変な音になっちゃうから データの質とかもめっちゃ大事 雑音とか入ってきちゃうとか そうそうそう そういう変なデータを取り除いたり あとはエアーで全く同じことを喋っているデータを使いますって言ったんだけど なんか手違いで違う言葉同士が対話してたりすると それもノイズになっちゃうから そういうのを取り除くみたいなのもあって なんかね昔は どんなモデルを使うのか どんな構造にするのかみたいな研究が盛んに行われていたんだけど やっぱデータ自体も大事だよねって言って データのうまい選別とか そういうことをするのが大事っていう研究とかも 機械学習界であったりしていて それがデータセントリックAIっていう概念があったりとか その領域まじで広いんですよね そんな感じ コナン君の超ネクタイ型編成器はとても高精度っていう あれはねめちゃくちゃすごい めちゃくちゃすごいコンピューターってことですよね こんなちっちゃいところにこんなすごい計算が 計算になっちゃってくれるやつがいてってことですもんね もしくはアガサ博士のラボとつながってて クラウドコンピューティングしてる 山奥から使ってるんで どこでも使える ローカルモデルすごい それが20年前ぐらいに生まれてるってことですもんね すごいすごい そんな感じで 面白いですね これってもともとはこうでしたみたいな話だけで 今ずっと言ってきたから この先がその後どうなったかみたいな話がまだ全然あるんだけど もう20分ぐらい喋ったんで じゃあパート2でまたいつか 来週になるかもしれないし またちょっと聞かせてください ぜひぜひどっかで勉強します たまに思い出さないと忘れちゃうから いい思い出しの機会 来てください 最新の事情覚えてないんだけど なんか最近のLLMとかに 最近どんな状況になってるので聞くと 分からないような分かるような いろんな最新の研究所を教えてくれて へーって いうのたまにやってる そんな感じでした ありがとうございました 次はどの声と繋がりますか 引き続きボイスでお楽しみください