効果音生成とは何が違いますか？

あちらは音を説明すればその音が出てきます。特定の効果音が 1 つ欲しいときに向いています。こちらは逆で、映像を渡すと、絵を読み取って何が聞こえるべきかを判断します。クリップ全体に一度で音をつけたいときはこのページ、単発の音が欲しいときは効果音生成を使ってください。

音は自動で合いますか？

合います。この映像のために生成されたもので、各動作のタイミングは絵から読み取られます。自分で効果音を探してタイムラインで揃える手間が省ける、というのがこのページの一番の効きどころです。

一文で雰囲気を誘導することはできます。屋内か屋外か、静かか賑やかか。ただし主たる手がかりは映像なので、画面に映っていないものを説明だけで呼び出すのは困難です。

生成されるのは主に環境音とアクションの音です。聞き取れるセリフが必要なら、テキスト読み上げで別途生成し、キャンバス上で 2 つのレイヤーを合わせてください。画面上の人物にそのセリフを話させたい場合はリップシンクを使います。

AI 動画で最も見落とされやすい欠落は、画質ではありません。ほとんどの動画モデルが映像しか返さないという点です。音のないクリップは、見た目が良くても空虚に感じられます。足りないのは、映像を地に足のついたものにする環境音のレイヤーです。

従来の解決策はライブラリ漁りでした。環境音を探し、足音を探し、衝撃音を探し、それぞれをタイムラインに合わせる。難しいのは音を見つけることではなく、合わせることです。動作ごとにフレームを数えることになるからです。

このページはそれを逆転させます。動画を渡せば、モデルが画面上で起きていることを読み取って音声を生成します。タイミングは絵から取られるので、構造的に最初から合っています。

そこが効果音生成との核心的な違いです。あちらは「言えば作る」、こちらは「見て作る」。

だから一文で雰囲気を誘導することはできます。屋内か屋外か、静かか賑やかか。ただし主たる手がかりは映像です。画面に映っていないものを言葉で呼び出すのは難しいので、画面外の音が欲しい場合は効果音ツールで別途生成するのが直行便です。

音声も同じ考え方です。このページが届けるのは環境音とアクションの音です。聞き取れるセリフが必要なら、テキスト読み上げで生成し、キャンバス上で 2 つのレイヤーを合わせてください。

この工程はパイプラインの最後に置いてください。絵が確定してから音をつける。映像から生成する仕組みである以上、絵に手を入れれば音声もやり直しになるからです。

実用的なレイヤー構成はこうです。クリップの環境音とアクション音はこのページで作り、強調したい単発の音を効果音生成で数個足し、音楽とセリフは別々に生成して、すべてキャンバス上で混ぜる。こうすれば各レイヤーが制御可能なまま保たれ、音をひとつ変えるために全体をやり直す必要もありません。