テクノロジーの進化で挑む、感動の拡張の未来
Corporate Distinguished Engineerとは、変化の兆しを捉え、ソニーの持続的な成長のために、技術戦略の策定や推進と人材の成長支援を行うエンジニアのこと。そのメンバーの中から、エンタテインメント領域と関連する技術分野で活躍する、原口 竜也、豊 禎治、菅 真紀子の3名に、10年後のエンタテインメントやクリエイションをテーマに話を聞きました。
Corporate Distinguished Engineerとは、変化の兆しを捉え、ソニーの持続的な成長のために、技術戦略の策定や推進と人材の成長支援を行うエンジニアのこと。そのメンバーの中から、エンタテインメント領域と関連する技術分野で活躍する、原口 竜也、豊 禎治、菅 真紀子の3名に、10年後のエンタテインメントやクリエイションをテーマに話を聞きました。
原口：エンタテインメントの世界では、すでにフィジカルとバーチャルの境界をなくしていくような動きが始まっており、10年後は多くの人々が境界を考えなくなると思います。しかし、世界がどう変わっても、エンタテインメントの本質が「人」であることは変わりません。
菅：フィジカルとバーチャルの融合といったテクノロジーに目が行くと、「人」が見失われがちになるため、そこにフィーチャーし続けることが大切です。最近、あるアーティストが配信ライブをした際に、観客のリアクションがなくて寂しいと言っているのを聞いたのですが、それは会場の盛り上がりのことを意味しているのではなく、アーティストと観客の間のストーリーを感じづらくなっているということではないかと思いました。実際のライブ会場で、アーティストは観客一人ひとりの顔を見て「いい顔をしているな」「親子連れで来ているな」などと思っていて、観客側もアーティストに対して「いろいろな苦労があったな」と感じている。そういった思いのやりとりが非常に大事で、それを情報としていかに取得していくのかがこの先問われる気がします。
豊：フィジカルとバーチャル、それぞれの体験の良さを再認識する必要があると思います。例えば、フィジカルでは集まれる人数に限界がありますが、バーチャルは世界中の何億人もの人が一斉に集まることもできます。一方、脳や感覚器官に直接刺激を与えるようなブレインマシンインターフェースなどが出てくれば違ってくると思いますが、食事を楽しむといった人々の物理的かつ知覚的な行為はバーチャルではまだまだ再現が難しいのが実情です。10年後の未来に向けて、フィジカルとバーチャルをどのように融合させていけば最も良い感動体験を提供できるのか、考えていかなければならないと思っています。
菅：それこそが挑戦しなければならないことだと考えています。先ほど、アーティストと観客間の話をしましたが、観客同士の間でも何かを共有しているはずで、それを解き明かさなければならないと思っています。それを解明して、例えば「この瞬間を何億もの人と共有している」と実感できるような技術を創出できれば、フィジカルでは実現できない、バーチャルならではの新しい感動体験を生み出せるのではないかと考えています。
原口：「バーチャルであっても、リアリティを心から感じる」ということがポイントかもしれません。例えば、バーチャルの音楽ライブで、見ているだけではリアリティは得るのは難しいですが、「今この瞬間をみんなと共有している感覚」や「自分の行動が全体に作用している感覚」が得られれば、リアリティを感じられると思います。アーティストおよび観客一人ひとりが「個」として確かに存在していて、各人がどんな行動をとるかによって、次の全体の現象が変わってくるようなライブ特有のリアルな体験をいかに作りだすかが肝だと思います。
豊：ひとつの手がかりとして、日本語で「肌で感じる」という慣用句がありますが、バーチャルでも肌で感じることができる技術があれば、新しい体験を生み出せるのかもしれません。実際にその場所にいたときに感じるであろうものをすべてセンシングして、それを感覚への刺激に変える技術を確立すれば、そのような体験を作り出せる気もします。
菅：センシングの難易度は高そうですね。アーティストや観客一人ひとりの体温、会場の温度や湿度、音の振動のほかにも、目や耳以外で知覚している情報も多くありそうです。しかし、非常に興味深いテーマだと思います。
豊：「これから何が起こるか分からない」ということがリアルタイムの醍醐味です。自分で何かを行った影響が、次の現象に即時につながっていくことが重要だと思います。そういった意味で言うと、レイテンシー（通信遅延）が全くないバーチャルの世界を実現し、他の人の一挙手一投足がしっかりと感じられるようなつながり方ができると、リアルタイムを感じられると思います。
原口：これは妄想に近い考えなのですが、本当にリアルタイムでなくても、"実際に今起こっている"と感じられる状況さえ作れれば、リアルタイムと同じ体験が作れるのではないかと思っています。バーチャルでも、自分がその出来事に参加していて、何かをすればその状態が変わるという感覚さえ持てれば、それはリアルタイムに起きていなくてもいい。例えば、私たち3人がバラバラに違うタイミングで音楽ライブを体験していても、それぞれの声援によってライブが盛り上がったと感じることさえできれば、それがそれぞれにとってのリアルタイムであり、リアリティになると思います。本当のリアルタイムは、たくさんの人が同じ瞬間に体験しなければなりませんが、このように考えれば、同じ瞬間でなくても良くなるので、時間の概念すら超えることができるかもしれません。
原口：そうです。私がそう考える背景には、人々のエンタテインメント体験の変化があります。ひと昔前はテレビの前でみんな揃って観ていましたが、今は自分の好きなタイミングで、動画共有サイトで映像を楽しむ機会も増えました。既に時間の差は個人で生じていて、一体感が失われているのが今の状況です。それを技術で補うことができれば、それぞれの人で観る時間はバラバラでも、その瞬間を共有しているような体験ができるのではないかと思います。そのような世界では、数十年前の音楽ライブに本当に行ったような新しい感動体験ができるかもしれません。
豊：その音楽ライブのアーティストや周りの観客が、自分の行動に対して、反応してくれるようなインタラクションが起こる世界が作れれば、そういう"現実を歪曲する体験"を実現できるかもしれませんね。私が取り組んでいるゲームの領域では、そのようなことを先取りしている所があります。ゲームは、プレイヤーの行動や選択によってコンテンツがリアルタイムに変化していくようにプログラムされたインタラクティブなコンテンツなので、プレイする時期は違っていても、それぞれのプレイヤーは同じような興奮を味わうことができます。
菅：そのようなバーチャルな体験を実現するには「自分はそこにいると心から感じられる」実存感のクオリティが必要になると思います。同時に、私はフィジカルの価値を忘れてはならないと強く思います。仮にフィジカルの世界がすべてバーチャルに置き換わったとしても、全く同じ価値になる気はあまりしません。
本当に実在する場所や体験のリアリティがあるからこそ、価値があると思います。その上で、バーチャルを組み合わせてエンタメ感を増していくという方向は面白いのではと思います。
豊：確かにその人の中にある情報は、基本的にはフィジカルの世界から学んでいますから、それにリンクされたものがバーチャルでも再現されていると価値は高くなりますよね。そのフィジカルから学んだことは各個人によって違うため、それぞれの人によって最も良い形で見せることも必要だと思います。
原口：音楽制作の現場では、クリエイティブを支援する目的でのAI活用が導入され始めていますが、その役割は今後さらに高まると思います。「AIが作り上げたもの自体に価値があるのか」という点については賛否両論があると思いますが、クリエイティブな活動の中でアーティストの利便性を上げたり制作の効率を上げたりすることによって、AIがアーティストのクリエイティビティを高めることが期待されます。また今後は、意外性のある音楽を作るAIが出現するなど、際限のない人間の好奇心の追求に併せてAIも進化していくのではないかと予想しています。
豊：ゲームは画像を計算によってリアルタイムに作りだすため、ゲーム機の処理能力が画像のクオリティに影響を与えます。リアルな動きを作るには、物理シミュレーションを使って物体の動きを計算します。AIを使うと最後まで計算しなくてもシミュレーションの結果を推測することで、計算量を大幅に軽減できる可能性があると思っています。すなわち大量のシミュレーションの処理が可能となることで、例えば大規模な建造物が崩れる時の破片一つ一つが計算可能となり、よりリアルな表現を実現できます。このようにAIによって今まで不可能であった表現が可能となり、クリエイターに新たな創造の自由度を与えることができると思っています。
菅：クリエイターの"手作り感"を実現するために、いかにAIを使いこなすかがキーになると思います。主役はあくまでもクリエイターで、AIは最適化するための存在です。ある評価関数を設定して「とにかくその値を高める方向に学習しなさい」というのがAIの基本で、人間側の価値観が変わるとその評価関数を変えなくてはなりません。今、良いと思っているものが5年後も良いとは限らないし、心が移ろうのが人間で、その時々で「良い、悪い」は変わっていくわけです。特にエンタテインメントは正解がない世界なので、クリエイター自身が人々の心の動きや揺らぎを捉えて、その評価の基準自体を更新し続けなくてはなりません。
菅：センシングのプロセスを見直したいと思っています。現在のセンシングは、入力情報としてとにかく大量のデータを取得しておいて、後で必要なデータだけを使用するという大容量化が進んでいます。このようなやり方はサステナブルではないですし、個人的には大量のデータに囲まれている状況に人々は疲れているのではないかと考えています。入力情報から必要なデータだけを取得し、必要最低限の認識を行うことで、性能が洗練されていくと思います。
原口：トランスメディアは、映画やテレビなどメディアの領域を超えて、より感動的なストーリーを生み出すという考え方だと思いますが、私はもっと広い概念で捉えたいと思っています。メディアの領域だけではなく、音楽や映像といったジャンル、さらに嗅覚や味覚といった人間の五感といった領域も超えて、今までにない感動を探し続けることが重要だと思います。
菅：プロフェッショナルとアマチュア、クリエイターとファンという領域の境界もなくなっていくと思います。最近、ソニーにおいても、テクノロジーによって楽器経験のないアマチュアが自分で演奏できるようにする実験的なイベントを行うなど、取り組みを進めています。
豊：また、イマーシブな体験の創出に、360 Reality Audioなどのソニーの音響技術が役立つと思います。例えば、ゲームではプレイヤーの位置に合わせて、音が聞こえてくる場所を変えたり、そこに壁があれば、こもった音にしたりすることで、高い没入感をもたらすことができます。360 Reality Audioなどの技術をクリエイターに提供し、今までにないイマーシブな体験の創造に貢献したいと思います。
豊：近年、「個人の感動の最大化」を大きなテーマの一つにしています。コンテンツは提供して終わりではなく、ユーザーの心を動かすのがゴールであり、そのコンテンツをどう受け取るかを含めて全体を考える必要があるのではないかと思います。さらに、個々人の嗜好は異なりますし、その時の気分によっても変わってきます。リリースしたときの固定されたものではなくて、ユーザーのそのときの心の状態に合わせて、コンテンツ自体がダイナミックに変わっていくような新たな体験の研究開発に取り組んで行きたいと思います。
原口：これは姿勢の話となりますが、私たちはリスクを取りながらも、新しいクリエイションの世界を作らなければならないと思っています。私たちが行いたいのは、テクノロジーそのものを開発するだけにとどまらず、テクノロジーを使って次の新しいクリエイション体験やビジネスを生み出すことです。そのために、アーティストやクリエイターの権利を守りながら、テクノロジーをいかにオフェンスで使っていくかを考えていきたいと思います。
菅：ソニーグループの中には、まだ社会実装されていないテクノロジーの種が多くありますが、昨今のコンピューティングパワーの向上によって、実用可能性が高まってきていると感じています。この先、こういったテクノロジーをクリエイターに提供し、エンタテインメントの深化に貢献できればと思っています。
ソニー株式会社（現ソニーグループ株式会社）に入社後、ソフトウェアエンジニアとして情報推薦技術を開発。以降、株式会社ソニー・ミュージックエンタテインメントにおいて、音楽SNS運営、Webメディア運営、モバイルアプリ開発、音楽配信事業の経営管理など幅広く経験。現在はエンタテインメント事業における先端技術探索、音楽・アニメ・ゲーム等の各種エンタテインメントへの先端技術活用、技術ベースの新規事業創出活動を推進。
初代PlayStation®の開発を手掛け、長期にわたりゲーム領域に従事。現在では中長期を含めたゲームをはじめとするインタラクティブエンタテインメントに貢献する先端技術の研究を主導。特に、リアルタイムレイトレーシングを使った写実的CG表現や知的処理を用いた感情認識などを含むUI技術など広範な先端技術の研究に取り組んでいる。
理学博士（数学）。ソニー株式会社（現ソニーグループ株式会社）入社後は誤り訂正符号、特にReed-Solomon・BCH等の代数的な符号や、ターボ・LDPC等の確率的な符号の研究開発に従事。全世界のデジタル放送方式にLDPC符号とその周辺技術を提案し、規格必須特許を多数獲得、方式立案とその受信機実装を担当。またLDPCの復号に用いられるBayesian Networkの派生としてDeep Neural Networkとその実装技術、センサー信号処理技術の研究開発にも携わる。