AIアバターが最新の人気スポットやグルメ情報を教えてくれるAI観光メタバースヨコハマをリリース

株式会社ビートバップ
RAG（検索拡張生成）に対応した自然なコミュニケーションが可能なAI NPCアバターが日本語と英語でユーザをおもてなし

株式会社ビートバップ（神奈川県横浜市）は、生成AI技術のLLM（大規模言語モデル）を補う技術として注目を集めているRAG（検索拡張生成）に対応したAIアバターが、多言語（今回の事例では日本語と英語に対応）で横浜の人気の最新スポットやおすすめのグルメ情報などを教えてくれる、AI観光メタバースヨコハマをリリースしました。

ChatGPTなどの生成AI技術は、分野によってはこちらが意図していない回答を生成してしまうことがあります。これは、生成AI技術が、学習したデータをベースにしてテキストを組み合わせて回答を生成するためです。この生成AIの弱点を補う技術として、RAGが注目されています。RAGは、検索で抽出した結果を生成AIと連携して回答を生成するため、比較的正確な回答を生成してくれるというメリットがあります。今回リリースしたRAGに対応したAIアバターは、今後観光、教育、行政など、様々な分野での活用が見込まれます。

今回リリースしたAI観光メタバースヨコハマのURLはこちらになります。ウェブブラウザからアクセスして利用することができます。

AI観光メタバースヨコハマのトップページ


操作方法
１.画面が表示されたらマイクの許可をOKにします
※マイクが付いてないと会話をすることができません。また、専用のマイクを使用すると正確に認識してくれます

２.マウスで画面を一度クリックします

３.キーボードのTキーを押しながら話しかけます

４.キーボードのTキーを話すとアバターが答えてくれます
※日本語と英語に対応しています。

５.ゲームと同じようにキーボードのキーでメタバース内を歩き回ることができます
　W→前進、S→後退、D→右に移動、A→左に移動

なお、ネットワーク環境によっては、アバターのレスポンスに時間がかかる場合があります。できるだけ高速なネットワーク環境でお試しください。



米国サンフランシスコにあるConvai社のAI NPC技術を利用

Convai社のウェブサイト


今回リリースしたAI観光メタバースヨコハマで、ヨコハマに関する最新の情報を提供してくれるAIアバター「たけし」は、ChatGPTと米国のサンフランシスコにあるConvai社のAI NPC（ノンプレイヤーキャラクター）の技術を活用して制作しました。Convai社のAI NPC技術を活用することで、専門分野に特化した多言語コミュニケーションが可能な高性能のAIアバターを制作することができます。

最初に、アバターのキャラクターを構成する基本情報（バックストーリー）はChatGPTで生成します。次に、そのChatGPTが生成したバックストーリーを一度Convaiに読みこませ、さらにConvaiが提供するRAGの技術を使って横浜に関する最新の情報を与えます。そうすることで、ユーザーが求めている最新のヨコハマに関する情報を提供できるようになります。

また、Convaiはユーザーからの質問に正確に回答するAI NPCの技術以外に、アバターの顔、髪型、衣類などの外見も自由に選択して、オリジナルデザインのアバターをつくることができます。対応する言語、声のトーンや話すスピードなども自由に選択することができるため、シーンに合った自然な会話ができるようになります。

Convai社のウェブサイト

3DCGソフトBlenderを使ってオリジナルの建物を再現

Blendeで制作中の海洋会館3Dモデル


今回のAI観光メタバースヨコハマでは、日本大通り沿いにあるヨコハマの歴史的建造物である海洋会館を、3DCGソフトのBlenderを使って再現しました。今回は海洋会館のみでしたが、他にも自然、街、建物、乗り物などを3Dモデル化して、メタバース上で再現することができます。実際と同じ環境を再現することで、より臨場感にあふれたメタバースを実現することができます。

また、インテリアなどのそれほど複雑でない形状のアセットは、写真から3Dモデルを生成するAI技術を使って、比較的短時間でつくることができます。生成AIが生成した3DモデルをBlenderに読みこませ、Blenderでテクスチュアを修正することでより実物に近いアセットが完成します。


今後の予定

ビートバップでは、今後ヨコハマ以外の観光スポットを再現したAIメタバースや、学校の授業を補完する役割として活用できる、「AI探求先生」などのリリースを予定しています。AIアバターを使った新しいAIメタバースの制作に興味がある場合はお問い合わせください。

株式会社ビートバップ
ビートバップが実現したいことは、メタバースで世界をワクワクさせること。3D、ゲーム、NFT、AI、R3F（React Three Fiber）などの技術を使って、お客さまの事業の成長に貢献するメタバースとゲームを企画・制作するWeb3スタートアップ企業です。メタバースやゲームの企画及び制作事業と、メタバースやゲームのつくり方が学べる学習プログラムの企画・制作事業を展開しています。

会社名　：株式会社ビートバップ

設　立　：2023年3月

所在地　：〒220-0011　

　　　　　神奈川県横浜市西区高島二丁目11番2号　スカイメナー横浜519

メール　：ito@beatbop.jp

代表者　：伊藤靖（いとうやすし）

事業内容：１.メタバースの企画及び制作

　　　　　２.AIを活用したアバターの企画及び制作

　　　　　３.デジタルツインの企画及び制作

　　　　　４.ゲームを基盤とした対話型アプリケーションの企画及び制作

　　　　　５.メタバースのつくり方が学べる学習プログラムの企画及び制作

　　　　　ビートバップのウェブサイト：

　　　　　AI観光メタバースヨコハマ　：

　　　　　【本件に関するご相談・お問い合わせ先】

　　　　　株式会社ビートバップ

　　　　　メタバース制作室： 伊藤靖（いとうやすし）

　　　　　E-mail : ito@beatbop.jp