Interactive Koe-ni-hannou-suru Avatar はブラウザで動く、声の音量と母音を識別してアバター差分を切り得たりアニメーションする「発話演出システム」です。主に、4人以上でコラボ配信するケースを想定して開発しています。
Am●ng usをVが多人数コラボしたとき、はじめて見るVが複数人いると誰か何を話してるのかわからなくなる問題を解決したい、というのが開発のキッカケです。
母音を判定して5種類(あいうえお)+無言(ん)の画像を切り替えます。
声の音量によって4段階のアニメーションを切り替えます。また設定から声の音量に応じた画像を登録することも可能です。
Twitter認証でログインしたあと、アバター情報を作成して、「音声入力画面」からアバターを動かし、「受信側アバター表示」画面をOBSのブラウザに設定することで配信に表示できます。
音声入力し判定された結果が、リアルタイムでコラボ相手の受信画面側に反映され、発話を演出することができます。
もうちょっとUI作りこんだら使い方の詳細書く
初期画像としてイラスト屋さんの絵がセットされているので簡単に使い始めることができます。
リアルタイム通信なしの音声判定だけのお試しサンプルはコチラ↓
とくにないです。概要欄のどこかにURL貼ってくれると嬉しいです。
動作保証はしないのでうまく動かなかったらごめんね