ChatVRMはブラウザで簡単に3Dキャラクターと会話ができるデモアプリケーションです。
VRMファイルをインポートしてキャラクターに合わせた声の調整や、感情表現を含んだ返答文の生成などを行うことができます。
ChatVRMの各機能は主に以下の技術を使用しています。
- ユーザーの音声の認識
- 返答文の生成
- 読み上げ音声の生成
- 3Dキャラクターの表示
Glitchでデモを公開しています。
ローカル環境で実行する場合はこのリポジトリをクローンするか、ダウンロードしてください。
git clone [email protected]:pixiv/ChatVRM.git必要なパッケージをインストールしてください。
npm installパッケージのインストールが完了した後、以下のコマンドで開発用のWebサーバーを起動します。
npm run dev実行後、以下のURLにアクセスして動作を確認して下さい。
ChatVRMでは返答文の生成にChatGPT APIを使用しています。
ChatGPT APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。
- https://platform.openai.com/docs/api-reference/chat
- https://openai.com/policies/api-data-usage-policies
ChatVRMでは返答文の音声読み上げにKoemotionのKoeiromap APIを使用しています。
Koeiromap APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。