SONY

仮想空間上に自分とそっくりなDigital Human。「不気味の谷」を越え、3Dモデルに命を吹き込むためのこだわりとは。

Culture

「自分もゲームや映画の世界に入れたら」そう思ったことはありませんか?実在する人物が被写体となり、本人と遜色のない自然な3Dモデルとして製作された「Digital Human(デジタルヒューマン)」。そこには「不気味の谷」を越え、世界に新たな感動を与えるためにさまざまな技術やこだわりが隠されています。この技術の開発に携わる水野さんに、研究開発における発想や挑戦、技術に対するこだわりについて伺いました。

※「不気味の谷」とは
人工物の造形を人間に近づけた時、ある段階で急激に強い嫌悪感や違和感が生じてしまう現象。

水野 宏基
渡部 優基

まるで実際の人物が目の前にいるかのような体験を。

リアルな人間をCG等の技術を使って再現する「Digital Human」の研究開発に、2019年から携わる水野さん。さまざまな技術要素が組み合わされている中でも、計測された顔の動きの情報をCGで再現する技術を担当しています。

たくさんのマーカーを用いて顔の動きを測定し、その情報をもとにCGの形状を変形させることで表情を作る。

── 水野さんは人間の顔の動きを再現する技術を担当されていると聞きましたが、どのようなきっかけで開発を始めたのでしょうか。

CGでの人間の再現という技術において、一番難しいのは「顔を動かす」ことでした。開発当初から人の形をとるところまでは、ある程度の技術ができており、静止状態では実物と見分けがつかないレベルの表現ができていたのですが、動き始めるととても不気味に見える、いわゆる「不気味の谷」という課題がありました。見た目がリアルであればあるほど、ちょっとした部分で違和感を生じさせてしまうのです。
そこで、CGで人間を再現するときに、どの部分が不気味だと感じさせるのか、どう動かすと実写と区別がつかないリアルな3Dモデルが作れるのかを考え始めたのが開発のきっかけでした。

── ゲームなどではCGで再現されたキャラクターをよく見ますが、実物と遜色ない人物モデルを作れたら、もっと素敵な体験ができそうですね。

ゲームキャラクターや映画のスタント以外の用途でも、人間の仕事をデジタル技術で再現したCGのキャラクターが代わりにするような応用を考えています。VRを通して実際にアイドルが目の前にいる体験をサービスとして提供したい場合も、よりリアルなモデルを再現する技術は必要になってくると思っています。

「どれだけリアルに見せるか」という終わりのない研究。技術を実際に使う人の「感動」を見据える。

── とても夢のある技術ですね。3Dモデルのリアルさを追求する上で、苦労した点はどのようなところなのでしょうか。

顔の中で一番動く「目」と「唇」の動きの再現です。他の部位に比べて形状のバリエーションが豊富なので大変でした。
基本的にはモデルの元となる人物の顔にマーカーを付けて、その動きを計測するのですが、変形の激しい目や唇などの部分では、マーカーが顔のしわに入り込んでしまい計測ができなくなったり、複雑な形状の再現が難しかったりします。

── そのような難しさがある中で、水野さんはどのような工夫をされたのでしょうか。

機械学習を使って、カメラで撮影した人物の映像から目や唇の形状を正確に取得し、それにCG側の形状がぴったり合うように変形アルゴリズムを適用して動かしました。さらに、その人の個性をインプットした機械学習モデルを使って、変形させたCGモデルを「本人らしい顔つき」にする作業も行っています。

マーカーから取得した幾何学的な動きだけでなく、機械学習を用いて「その人らしい顔つき」へ。

── 限りなく実際の人物に近づけるために、さまざまな工夫をされているのですね。そのような技術的な工夫やこだわりは、突き詰めたら終わりがないものだと思うのですが、水野さんはどこにゴールを設定されているのでしょうか。

まずは自分の目で見て、リアルかどうかという基準は持っています。人間らしく見えるかどうかは主観的なもので、数値データなどのはっきりとした基準を設定することが難しい。だからこそ、自分が納得できるラインをしっかり持っておくのが、終わりのない研究のモチベーションを保つためにも重要だと思っています。その上で、自分たちの技術を実際に使ってくれる人に「使いたい!」と思ってもらうのが2つ目のゴールだと思っています。さらに言えば、この技術が映像作品などを通して幅広い皆さまに届いて、すごい!と言って感動してくれる。そこまでいけたら本当の意味でゴールなのかなと思います。

コンテンツ制作において協力してもらった人も「顧客の一人」。他分野の人と積極的に連携できるのがソニーの強み。

── Digital Humanの実証実験においては、ソニー・ミュージックアーティスツに所属するアーティストともコラボレーションしていたと聞きました。

我々のチームは空間映像技術を専門にしているので、以前から何度かソニーミュージックグループと連携したことがあり、つながりと信頼関係がありました。そのため、できあがった技術を活用して実在のアーティストを再現してみようと思った時には、すぐに相談することができました。このようなところがソニーの強みだと思います。グループ内に最先端のテクノロジーがあり、エンタテインメント事業も行っている会社は多くないと思います。

── さまざまな事業分野に携わる人たちが周りにいるというのは刺激的な環境ですね。他にも連携されたことはあったのでしょうか。

一人の人間を完全にデジタルにする技術工程の中で、我々が取り組んでいるアニメーション以外の部分について、CG制作スタジオに協力してもらいました。しかし、制作作業を進める中で、互いに異なる専門用語を使っていたり、我々の技術が見たことも触ったこともない全く新しい技術だったりするなど、CG制作スタジオ側のスタッフとの間にある程度の壁がありました。これを解消するために、週に一回定例会議を設けて密にコミュニケーションをとることを大事にしていました。

── そのような連携を行う上で、刺激や気づきはありましたか。

実は連携させてもらったCGスタジオも、我々から見ると顧客の一人なのです。CGスタジオが映像制作のために使っている既存のツールに対して我々が新しい技術を持っていき、それが新たなコンテンツ制作に役立つことを目指して開発を行っています。そのため、顧客であるCGスタジオの皆さんが、我々の技術を使いたいと思ってくれるかどうかが重要になります。どこに課題意識を感じているか、自分たちの技術が使いやすいものになっているのかを確認する意味でも、とても有意義なコミュニケーションができたと思っています。

「自分たちが止まっていても、世界は進んでいく。」常に新しいことにアンテナを張り続け、試行錯誤を重ねる研究開発。それも含めて、やっぱり楽しい!

── Digital Humanのような全く新しい技術を作るのは簡単ではないと思うのですが、行き詰まったときにどのようなアプローチをされていますか。

これをやってみようというアイデアがある限り手を動かすようにしています。研究開発においては、課題に対して試行錯誤して取り組んでも、それが思ったほど有効なアプローチにならないことは多くあります。しかし課題が解決できなかったとしても、取り組んだ結果が次のアイデアの源になる場合があります。そうなるともう落ち込んでいる暇はなく、あれもこれもやらなければという気持ちになります。Digital Humanに限らず、研究開発はずっと考えて試行錯誤を繰り返しての連続だと思います。

── やはりアイデアが次々と浮かんで、試行錯誤しながら技術開発を行うのは楽しいですか。

はい、楽しいですね。逆に研究開発は自身が楽しいと思えないと続けられない仕事である気もします。自分にとっては、研究開発は趣味の延長のようなものです。業務の参考にするため普段からいろいろな論文を読むのですが、中には難しくて内容がなかなか理解できず時間がかかってしまったり、眠くなってしまったりすることもありますが、そういう面も含めて、総じて楽しいと感じています。単純に新しい技術に触れられるのも楽しいですし、試行錯誤する中でうまくいったときなどは、テンションが上がったり、逆にうまくいきすぎて気持ち悪く感じたりすることもあります。

── 私も大学院生なので、研究の楽しさについてはとても共感できます。研究開発のつらさや難しさはどのようなところにありますか。

人によっては、常に新しい技術をキャッチアップし続けなければいけないところが苦しいのかなと思います。新しい技術はどんどん生まれてきて、乗り遅れないために常にアンテナを張り続けないといけない。自分たちが止まっていても、世界は進んでいく。自分はそこも含めて楽しいと感じていますが、新しいアイデアやイノベーションが出てきたときには、気づけなかったと悔しさを感じることもあります。

── ありがとうございます。最後に、Digital Humanと、水野さんの今後の展望を教えてください。

Digital Humanについては、技術の研鑽をまだまだ重ねていきます。将来的には、例えば携帯電話のカメラで撮影したら、その人物のモデルがそのまま横に出てくるほどのスピード感を実現できたらと思っています。また、自分自身としては、社会的なインパクトがある仕事をしたいと常々思っています。自分の携わっている技術が社会に出て、社会が一変する、イノベーションが起きる。やはりそれが一番嬉しいことだと思っています。

<編集部のDiscover>
Digital Humanという複雑かつ高度で、とても面白い技術の裏には、研究開発に携わる水野さんのこだわりと熱意が込められていました。自分たちの技術で世界に感動を与えられるよう、常に新しいことを学び、試行錯誤を重ねて開発に取り組む。その過程すらも楽しんでしまう水野さんのお話を聞いて、水野さんのような開発者に刺激を受けながら一緒に働いてみたい!と強く思いました。

関連記事

関連記事

カジュアルに楽しみたい人から、真剣にテニスをしたい人まで!ソニーのテニス部の魅力について、2人の部員にお話を伺いました。

Culture

趣味も会社で。ソニーの「クラブ活動」の魅力とは。

Culture

「実は、社会人になるのが少し不安なんです。」そんな私に、お世話になったソニー社員から返ってきた答えとは。

Culture

【卒業記事】ソニーはどのような会社なのだろう?と思い、大学生が2年間インターンをした感想

Culture

グループ19社が集うソニー最大の採用イベント「Sony Group Career Forum 2025」の見どころをご紹介します!

Culture

社内で兼業?!「キャリアプラス制度」で自ら広げるキャリアの可能性

Culture

ソニーで働く若手社員の1日に密着!【ソニーシティみなとみらい編】

Culture

研修をきっかけに新機能を考え、半年で開発。ソニーの新入社員が本気で取り組む「新人テーマ研修」とは。

Culture

働きながら、学べる環境。ソニーの研究開発を担う部門の魅力に迫ります。

Culture

ソニーで働く若手社員の1日に密着!【ソニーシティ大崎編】

Culture

「ソニーは実力を見てくれた」障がい者雇用の理念と社員の思い

Culture

一人ひとりのキャリアに関する疑問や悩みに寄り添う。ソニーならではのアドバイザー訪問とは?

Culture

ソニーで働く若手社員の1日に密着!【厚木テクノロジーセンター編】

Culture

理系と文系に分けるのはナンセンス。「×AI」でキャリアに幅広い選択肢を

Culture

今と未来の自分のキャリアに向き合い続けて決めた転職。ソニーを新たな挑戦の舞台として。

Culture

ソニーで働く若手社員の1日に密着!【ソニーシティ(本社)編】

Culture

経験者採用で入社した女性マネジメント / リーダーにインタビュー

Culture

個人に合った温度を「まとう」ことで、社会課題解決へ。「REON POCKET」開発者が語る理想の未来とは。

Culture

ソニーグループの夏フェスとは?Family Dayから見る、社員思い・家族思いなカルチャー

Culture

幼少期からの「好き」が事業になった。一人のエンジニアが挑戦した、新規事業立ち上げまでの道のり

Culture

    ソニー採用公式SNSでも最新の情報を配信しております!
    是非フォローしてご確認ください!

    • Instagram
    • LinkedIn