AI モーションコントロール

参照クリップとキャラクターを渡せば、動きがそのまま移ります——ダンス、身ぶり、表情。動きは正確に、キャラクターは自分のまま。

主な特徴

動きは参照クリップに従う

参照クリップは、言葉よりもはるかに正確に動きを指定します。「踊って」ではモデルの即興が返ってきますが、参照を渡せば「そのダンス」が返ってきます。

キャラクターは自分のまま

動きは参照クリップから、見た目はキャラクター画像から。2 つは別々にコントロールされます。

写真を動かす

静止したポートレート 1 枚と参照モーションがあれば、その人物がその動きを演じている動画になります。

ひとつの動きを、複数のキャラクターに

同じ参照を別々のキャラクターに適用すれば、動きが揃っていて人物だけが違う一連のクリップが作れます。

ユースケース

写真を動かす

写真を動かす

静止したポートレートが参照どおりの動きを演じます。撮影は不要です。

ダンスとアクション動画

ダンスとアクション動画

ダンスを参照させ、自分のキャラクターに同じビートで踊らせます。

キャラクター間で動きを揃える

キャラクター間で動きを揃える

ひとつの動きを複数のキャラクターに適用して、揃った一連の映像を作ります。

バーチャルプレゼンターとキャラクターコンテンツ

バーチャルプレゼンターとキャラクターコンテンツ

固定のキャラクターと収録済みのモーションで、同じ人物のまま量産できます。

使い方

01

AI モーションコントロールを開き、キャラクターの画像またはクリップをアップロードします。

02

移植したい動きを指定するために、参照用のモーションクリップをアップロードします。

03

結果をダウンロードするか、キャンバスに送って編集を続けます。

ディープダイブ

動きは、説明ではなくクリップで指定する

動画ジェネレーターに「踊って」と書けば、モデルが考えるダンスが返ってきます。悪くはないかもしれませんが、あなたが思っていたダンスではありません。動きはテキストに収めるには情報量が多すぎるのです。テンポ、振りの大きさ、ポーズの細部——どれもプロンプトには入りきりません。

モーションコントロールは入力そのものを変えます。参照クリップを渡すのです。動きは動画から抽出され、見た目はキャラクター画像から取られ、2 つは別々に制御されます。だからあなたのキャラクターが、その特定の動きを演じます。

参照には「読み取れる動き」が要る

参照映像の 画質は問題になりません。参照は動きだけを供給し、見た目はすべてキャラクター側から取られるからです。重要なのは、動きが読み取れることです。

  • 被写体が欠けていない — 全身の動きには全身が、手ぶりには手が見えている必要があります
  • 遮蔽がない — 隠れた手足は、抽出できない動きです
  • 暗すぎない — 輪郭が見えなければポーズも読めません
  • できれば 1 人 — 複数人が同時に動いていると、モデルは誰を追えばいいのか判断できません

もうひとつ揃えておきたいのが 画角 です。全身のダンス参照に対して腰から上のキャラクター画像を渡すと、モデルは足りない下半身を創作するしかなく、それがキャラクターと一致しない場合があります。両者の画角が近いほど、結果は狙いに寄ります。

別のツールに切り替えるべき場面

  • 動きが正確でなくてよい — 動画ジェネレーターのほうが早いです。一文書いて即興させれば済みます。
  • 合わせたいのは口の動き — リップシンクは音声に対して働き、発話を担当します。
  • 最初と最後のフレームを正確に決めたい — 最初と最後のフレーム指定へ。
  • 見た目を変えたい — 動画編集ツールへ。

使い分けの考え方

このページの価値は 動きの確実性 にあります。だから向いているのは 2 つの場面です。再現しなければならない動きがある場合(特定のダンス、特定の身ぶり)と、キャラクターだけ違って動きが完全に揃ったクリップをまとめて作りたい場合です。

逆に、動きは何でもよくて「動いていればいい」だけなら、動画ジェネレーターのほうが手間がかかりません。参照を用意する必要もなく、一文で足ります。

よくある質問

画像から動画とは何が違いますか?+

画像から動画では動きをモデルが決め、こちらは言葉でおおまかに誘導することしかできません。「踊っている」と書けば、モデルが考えるダンスが返ってきます。モーションコントロールは実際のクリップを動きのテンプレートとして使うので、起きるのはその特定の動きです。動きを正確に決めたいときはこのページ、モデルの発想を見たいときは画像から動画を選んでください。

参照クリップに必要な条件は?+

動きが明瞭で、被写体が欠けていないことが何より重要です。全身の動きなら全身が見えている必要があり、手ぶりなら手が見えている必要があります。体の一部が隠れている、極端に暗い、複数人が同時に動いている——いずれも抽出精度を下げます。参照映像の画質は関係ありません。参照は動きだけを供給し、見た目はキャラクター側から取られるからです。

参照クリップはキャラクターの見た目に影響しますか?+

設計上は影響しません。動きは参照から、見た目はキャラクターから取られます。ただし両者の画角が大きく違う場合(全身のダンス参照に対して、腰から上のキャラクター画像など)、モデルは足りない部分を創作するしかなく、その部分はキャラクターと完全には一致しないことがあります。

リップシンクとはどういう関係ですか?+

担当する範囲が違います。リップシンクは口を音声に合わせ、モーションコントロールは体の動きとポーズを移植します。動いてしゃべるキャラクターを作るなら、通常はモーションを先に、リップシンクを後にします。

他のモデル