# 人の動きを理解するAIの研究 こんにちは。たけちゃんです。 たけちゃんの大阪平放チャンネル、 今日も聞いていただいてありがとうございます。 大阪の街の平野や、ゲストの方を おもろい基準にとことんご紹介しています。 お相手は大阪観光のプロガイド、たけちゃんことたけすけです。 今日もよろしくお願いいたします。 今日はライブでお届けいたします。 2023年5月1日、大阪府豊中市にあります 大阪大学の豊中キャンパス、 委嘱祭、大学の中の研究室とか、 研究の成果なんかを教えていただけるというか、 見せていただけるような、そういう体験ができましたので、 今日はその中からお聞きいただきたいと思います。 # データサイエンス&ロボティックス研究室 おさかへいほうちゃんねる # 高野渉特任教授 こんにちは。高野と申します。 私は人の動きを理解するAIを作っています。 それを何でやっているかというと、 体にセンサーをつけて、 手がどう動いたとか足がどう動いたとか、 血がどう曲がったとかを検索しています。 そのセンサーを読み取ると、 声に全身の動きが数値化できるんですけど、 これを見て、AIが今日何しているのかというのを 言葉として理解する。 おー。 今ちょっと前に向けたとおりが、 床を掃除かけているとか、 という風にして、人の動きを見て、 そこから今日何しているのかというのを 理解するようなAIを作っています。 この時は、体にセンサーをつけないといけないので、 ちょっと大変です。 でもセンサーもなしでやろうというので、 カメラで人の動きを撮影して、 そこからこの人が何しているのかというのを 言語として理解するように作っています。 これを画像処理して、 肩がどこにあるかとか、目がどこにあるかとか、 こういう骨格情報を抽出していきます。 骨格として数値化されたデータを 次言葉に変換して、 この人は何しているのかなというのを理解する。 おー、なるほど。 立ち上がる動作まで立ち上がりますねとか、 スタンドアップ、スリップ。 こうやって骨格情報から 人は何しているのかを理解するようなAIを作る。 これは要は介護施設のカメラを見守っておくだけで、 これを言葉としてAIが書き込めてくれるので、 あとは介護者がそれを見たら、 例えば昨日おじいちゃんまでどうやって過ごしたのかが分かる。 同じ原理を、保育士さんが忙しいので保育部に入れてあげると。 そうすると用事の動きを撮影しておくと、 同じでまた骨格を検出して、 それを言葉として記録できる。 テレビを見ているとか、座っているとか。 はい。 あとは不聞にしよう。保育士さんを見るのもいいし、 保護者の方に共有するのもいいし、 いろいろ使い方があるかと思いますけど、 人の用事の動きをカメラに見守るだけで自動で保育にしか作れる。 へぇー。 さらにこれをスポーツに応用しようというので、 ここでやっているのは、 体操の自動再検をすると。カメラで動きを計測して、 例えばここからここまでの動きはロシアンの技ですよとか、 ここからここまでの動きは違う技ですよとか、 そういう技を意識していきます。 ロシアンは何点とか、この技は何点とか、 これも決まっているんですよ、体操の用事で。 なので技さえ分かったら点数が出てくるので、 それを足し算していくと大分ダメだというのが分かると。 こうやって人の動きを認識するによって、スポーツにも応用できます。 介護とか保育とか、スポーツとか日常生活の理解とか、 いろいろとお見せしたんですけど、 ここにもカメラの画像処理とか、あとAIを作る計算とか、 そこそこ重い処理が必要になってくるので、 そこそこいいパソコンが必要になってくると。 誰もがそんなにいいパソコンを持っているわけではないので、 この技術を作ったとしても使えない限り出てくるので、 なので皆さんに使ってもらいたいということで、 今のような技術をiPhoneの上で走るように、 今頑張って作っています。 これはiPhoneを撮影して、リアルタイムで骨格を検出して、 歩いていますよとか、転びましたよとか、 これを認識しています。 iPhoneだったら、スマートフォンだったら多くの人が持っているので、 この今作った技術をいろんな人に使ってもらえるかなと。 もう少し簡単に説明ですけど。 一つ一つの行動はこうですよというのを認識しないといけないんですよね。 それって何万通りとか、めちゃめちゃあるんじゃないですか。 とにかくいっぱいデータを集めてきます。 最後は、これは今のiPhoneの画面に映しています。 今やっているのは、人のダンスを撮って、 そのダンスがいいか悪いかテストをしているアプリを作っています。 お遊びみたいなんだけど、結構真面目に研究としてやっていて、 これが大きくたくさんで、これを選ぶと、まず動画選択してください。 今、最低にしたい動画を選びました。 これを最低にしてみようかと。 これをクチッと選ぶと。 ここを読み込んでいます。 あとは、例えば動画1分くらいの動画で、 1分の動画には1800枚の静止画がバーッと並んでいます。 その1枚1枚に対してさっきのように骨格を検出して、数値化して、 このダンスのパーツは良かったか、不格調か、まあまあかとか、このパーツはどうだったか、いくつか評価しています。 それを今、このiPhoneの中だけ、ゴリゴリゴリゴリと回して、 ガリガリガリ携帯にしていると。 その結果が最後、ここに数値化してスパークリップ。 多少1分くらいの動画なので、ちょっとだけ時間がかかるんですけど、 30秒か1分くらいになってもらうと、 それでもそんなに時間かかるんですか。 はい、ここに出てくるかと思います。 ほぉー。 ちょっと時間かかってます。 あ、もうや。 その解析結果も一応このiPhoneの中に保存されていて、 これかな。 今の解析したのはこの動きで、 はい、いいです。 主演な感じで、 見て取れると。 向こうに人の動きを計測したり、認識、幻覚、認知、知恵合いを作っている。 基盤の技術も作りますし、個別具体的に応用先にいって、 使えるような技術に高めるという社会実装ですので、 そういうことも頑張ってやっています。 これも私の研究です。 すごいな。 以上です。 はい、ありがとうございます。 以上です。 はい、ありがとうございます。 でも、そういう子育園とかああいうところで使いだしたら、全然あれですよね。 楽って言ったら悪い言い方やけど。 ちょっと目離しているときとかでも、全然。 何とか使ってもらえる技術に高めて使い、使ってもらえる。 これ動物とかでも例えばできるんですか。猫ちゃんとか。 動物だったら猫ちゃんの肯価検出するためにはまだ作らないといけない。 ああ、なるほどね。人間のあれができているから。 原料一つで、いわゆる猫の動画をいっぱい撮ってきて、 手はどこで使うのか、まだ教えていない。 ああ、そうかそうか。 それをやればできる。 人は大きくても小さくても子供とかでもあんまり関係ない。 それをスマホでできるってすごいですね。 最近のスマホはいいですね。 そんなにですか。 やってみてiPhoneすごいなと思いました。 やってみてすごいなってできるからすごいけどね。 なるほど。よくわかりました。ありがとうございます。 はい、わかりました。 今ですかね。 はい、わかりました。 ありがとうございます。 # 2023-5-1大阪大学いちょう祭豊中キャンパス はい、お聞きいただきありがとうございました。 人の動きを理解するAIの研究ということで、 デモを見ながらお話を伺いました。 今日も聞いていただいてありがとうございました。 ほな、さいなら。