D-IDでTalks APIを使って動的にビデオを作成する

D-IDでは1枚の写真をもとに表情豊かにテキストをしゃべらせることができます。
チャットに入力された質問に答えてくれる自分のクローンを作ってみたくなったのでやってみました。

RocketChatのWebhookから呼び出したAPI Gateway + LambdaでChatGPT APIを呼び出して、生成されたテキストでD-IDビデオを作成して、呼び出し元のRocketChatへ投稿してみました。

ChatGPTのAPI

RocketChatのOutgoing WebhookでAPI GatewayとLambda関数で作成したAPIを呼び出してます。
ChatGPT APIにRocketChatに投稿されたテキストを渡しています。
性格はなるべく自分に近い設定を目指してみますが、これからも微調整していきます。

ChatGPT APIをTeamsボットから使いました(AWS Lambda(Python) + API Gateway)
RocketChatからOutgoing Webhookで呼び出されたAPI Gatewayでtokenをリクエスト検証する

D-IDのAPI

D-IDのプランとTrialのままAPIを実行しようとしたらエラーになりましたので、Liteプランにしてクレジットカードを登録しました。

D-IDのSettings & APIでAPIキーを作成しました。

D-IDのAPI Reference Create Talkで試せます。
AUTHENTICATIONのusernameとpasswordには、API Keyの:(コロン)の前後を入力します。
コロンの前がusernameで後ろがpasswordでした。

source_urlに顔写真の画像URLを指定しました。

TEXTSCRIPTを展開して、MICROSOFT_TTS_PROVIDERでja-JP-KeitaNeuralを入力しました。
Amazon Pollyも設定できるようでしたが、動画生成時にエラーになったので、とりあえずこちらを使っています。
ja-JP-KeitaNeuralはAzure Voice Galleryで調べました。
inputに話させたい文字を入力しました。
実際のコードではinputはChatGPTで生成したテキストを渡します。

これでAPIリクエストを実行すると、動画生成がスタートします。
動画が作成済みになったタイミングで動画のURLを受け取る必要があります。
受け取るためにWebhook送信先のAPIを用意しました。
このWebhookも試せます。

APIリファレンス画面で言語を選択すると、サンプルコードが生成されて実行を試せます。

あとは、D-IDからの動画作成済み情報を受け取ったAPIからのLambda関数がRocketChatに動画URLを投稿すると、画像のようにチャットで入力したテキストに対してのレスポンスを自分の写真にしゃべらせることができました。
D-IDの動画URLはS3署名付きURLでした。

D-IDはほかにもStreaming APIもあるので今度また試してみます。

最後までお読みいただきましてありがとうございました！

「AWS認定資格試験テキスト＆問題集　AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト ［DVA-C02対応］ 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

@yamamanx

開発ベンダー5年、ユーザ企業システム部門通算9年、ITインストラクター5年目でプロトタイプビルダーもやりだしたSoftware Engineerです。
質問はコメントかSNSなどからお気軽にどうぞ。
出来る限りなるべく答えます。

このブログの内容/発言の一切は個人の見解であり、所属する組織とは関係ありません。
このブログは経験したことなどの共有を目的としており、手順や結果などを保証するものではありません。
ご参考にされる際は、読者様自身のご判断にてご対応をお願いいたします。

また、勉強会やイベントのレポートは自分が気になったことをメモしたり、聞いて思ったことを書いていますので、登壇者の意見や発表内容ではありません。