2023年7月24日
ソニーのキャラクター対話AI技術
「AI対話技術」×「キャラクター」
自由にコミュニケーションできる
ソニーのキャラクター対話AI技術
キャラクター対話AI技術
「憧れのキャラクターと自由に話したい」
「自分でオリジナルのAIキャラクターを作ってみたい」
「AIキャラクターを使って様々なサービスを提供したい」
ソニーグループR&Dセンターでは、そんな夢を実現するための「キャラクター対話AI技術」を研究開発しています。よりリアルにキャラクターと触れ合うためには、言語の意味理解や生成を行う自然言語処理技術だけではなく、音声認識・音声合成といった音声信号処理技術や、画像認識・グラフィック表現のような画像処理技術など、様々な要素技術が必要になります。
クリエイターの発想を現実に変える技術と、ソニーグループの持つエンタテインメントの力を合わせることで、ワクワクする体験を届けることがキャラクター対話AI技術開発の目的です。その一環として、公開実証実験やアプリケーション開発を通じて「キャラクター対話AI技術」を用いた新たな価値を提案しています。
ソニーの対話制御技術
AIキャラクターを実現するために、シナリオベースの対話と機械学習による対話を組み合わせることで、シナリオライターが表現したい幅広い対話を実現します。まず、シナリオベースの対話によって、専属のライターがキャラクターの個性を際立たせるエモーショナルな対話を実現します。さらに、より広い話題でも会話ができるように、機械学習によりキャラクターの特徴を損なわずに幅広い対話に対応します。
機械学習による対話
小規模なAIキャラクターを作るのであればシナリオベースでの対話制御で十分対応が可能ですが、本技術では、口語主体の多様な言い回しや話題に対応するため、深層学習（DNN）を用いた応答をミックスしています。独自に収集した大規模な対話データを学習したモデルをベースに、表現したいキャラクターのセリフを追加して学習することによって、キャラクターの個性を反映した対話を効率的に生成することができます。
ユーザーとの会話を記憶するAI
我々はAIキャラクターとユーザーのコミュニケーションを活性化するために「相互理解」が重要であると考えています。そのため相互理解のアプローチとして、ユーザーの趣味嗜好や生活様式に関する情報（ユーザーモデル）を記憶し、対話に応用する機能を備えています。本技術では、このユーザーモデル対話の仕組みをキャラクターとの会話に活用しています。
「キャラクター対話AI技術」の 事業導入事例
AIエンタテインメントサービス「束縛彼氏」
束縛彼氏のキャラクター「新藤 暁」
※画面は開発中のもので、製品版と異なる場合があります。©Sony Music Solutions Inc. All rights reserved.
対話型キャラクターエージェント「CHELULU」
©Sony Music Solutions Inc. All rights reserved.
「CHELULU」は顔認証によって一人ひとりの顔を記憶し、相手に合わせてコミュニケーションをとることが可能
「キャラクター対話AI技術」に関連する公開実験
ソードアート・オンライン - エクスクロニクル -
AI対話実験企画「比嘉くんのつくろうAI！育てよう性格！」
来場者の「その人らしさ」を反映させたAIと作中のキャラクター「アリス」 が対話している様子をご覧いただける動画です。
©2020川原 礫/KADOKAWA/SAO-P Project
©BANDAI NAMCO Entertainment Inc.
株式会社バンダイナムコエンターテインメントより発売中の家庭用ゲーム『SWORD ART ONLINE Alicization Lycoris』のCGモデルを使用しています。
来場者の皆様の発話をWebで事前に投稿していただき「その人らしさ」を反映したAIを作成しました。イベント期間中はソードアート・オンラインの世界観に合わせて、その来場者のAIと作中のキャラクター「アリス」が対話している様子を展示しました。来場者が投稿していない内容についても「その人らしく」話すAIをご覧いただき、まるで作品世界に入り込んだような感覚を味わえる体験につながりました。
22/7（ナナブンノニジュウニ）“ナナニジライブ”
定期公演サプライズ企画「藤間桜ちゃんが来場者をお出迎え！」
定期公演や物販にお越しいただいた来場者の皆様に対して、藤間桜ちゃんから「来てくれてありがとう！」などと呼びかけるデモを展示しました。来場者が桜ちゃんの呼びかけにこたえると、その内容に基づいて桜ちゃんとの対話が続くというサプライズ企画でお出迎えしました。
来場者と藤間桜ちゃんが対話をするシステムのデモ対話をご覧いただける動画です。
©22/7 PROJECT 藤間桜（22/7）CV：天城サリー
関連リンク：
- Discover Sony | ソニーが本気でAIに恋をさせてみました
- Twitter【公式】束縛彼氏
- ソニー開発の最新対話AI技術を利用した［束縛彼氏］プロジェクトが3月25日（木）よりTwitterでスタート
- 対話AIサービス「束縛彼氏：新藤暁」が第1回京都アニものづくりAWARD テクノロジー・イノベーション部門で受賞!!
関連リンク：
Silin Gao, Beatriz Borges, Soyoung Oh, Deniz Bayazit, Saya Kanno, Hiromi Wakaki, Yuki Mitsufuji, Antoine Bosselut.
PeaCoK: Persona Commonsense Knowledge for Consistent and Engaging Narratives.
Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL), 2023. - Outstanding Paper Award
---
Silin Gao, Jena D. Hwang, Saya Kanno, Hiromi Wakaki, Yuki Mitsufuji, Antoine Bosselut.
ComFact: A Benchmark for Linking Contextual Commonsense Knowledge.
Findings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), 2022.
---
Chiaki Miyazaki, Saya Kanno, Makoto Yoda, Junya Ono, Hiromi Wakaki.
Fundamental Exploration of Evaluation Metrics for Persona Characteristics of Text Utterances.
Proceedings of the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), 2021.
---
菅野沙也、肥田礼夢、宮崎千明、井上正則、土居正一、青山一美
ソニーにおけるキャラクタとの対話システムの取り組み
人工知能学会 言語・音声理解と対話処理研究会（SLUD）第87回研究会「第10回対話システムシンポジウム」, 2019.
