Controle de Movimento com IA

Entregue um clipe de referência e o seu personagem, e o movimento é transferido intacto — dança, gesto, expressão. O movimento é exato; o personagem continua sendo o seu.

Principais características

O movimento segue a referência

Um clipe de referência especifica o movimento com muito mais precisão do que palavras — "faça uma dança" devolve o improviso do modelo; uma referência devolve aquela dança.

O personagem continua sendo o seu

O movimento vem da referência, a aparência vem da imagem do seu personagem. São dois controles separados.

Faça uma foto se mover

Um retrato parado mais um movimento de referência entregam o vídeo daquela pessoa executando a ação.

Um movimento, muitos personagens

Aplique a mesma referência a personagens diferentes e obtenha um conjunto de clipes com o mesmo movimento e pessoas distintas.

Casos de uso

Fazer uma foto se mover

Fazer uma foto se mover

Um retrato parado executa o movimento de referência — sem precisar filmar.

Vídeo de dança e de ação

Vídeo de dança e de ação

Use uma dança como referência e faça seu personagem executá-la, marcando as mesmas batidas.

Movimento consistente entre personagens

Movimento consistente entre personagens

Aplique um mesmo movimento a vários personagens diferentes para produzir um conjunto coerente.

Apresentadores virtuais e conteúdo de personagem

Apresentadores virtuais e conteúdo de personagem

Um personagem fixo mais movimento gravado, para produzir conteúdo em volume com uma pessoa consistente.

Como usar

01

Abra o Controle de Movimento com IA e envie a imagem ou o clipe do seu personagem.

02

Envie um clipe de movimento de referência para especificar a ação a ser transferida.

03

Baixe o resultado ou mande para a tela para continuar montando.

Mergulho profundo

Especifique o movimento com um clipe, não com uma descrição

Escreva "faça uma dança" em um gerador de vídeo e você recebe a ideia que o modelo tem de dança — talvez bonita, mas não a dança que você tinha em mente. Movimento tem banda larga demais para caber em texto: andamento, amplitude e os detalhes de uma pose não entram em um prompt.

O controle de movimento troca a entrada: você entrega um clipe de referência. O movimento é extraído do vídeo, a aparência vem da imagem do seu personagem, e os dois são controlados separadamente. Assim o seu personagem executa aquele movimento específico.

A referência precisa ter movimento legível

A qualidade de imagem da referência não importa — ela só fornece o movimento, e a aparência vem inteiramente do seu personagem. O que importa é que o movimento seja legível:

  • Corpo completo — movimento de corpo inteiro exige o corpo inteiro; gestos exigem mãos visíveis
  • Sem oclusão — um membro escondido é movimento que não pode ser extraído
  • Nem escuro demais — sem contorno visível, não há pose legível
  • De preferência uma pessoa só — com várias se movendo ao mesmo tempo, o modelo não sabe quem seguir

Outra coisa que vale casar é o enquadramento. Uma referência de dança de corpo inteiro contra uma imagem de personagem da cintura para cima obriga o modelo a inventar a metade que falta, e ela pode não corresponder ao seu personagem. Os resultados mais próximos vêm quando os dois enquadramentos são parecidos.

Quando usar outra ferramenta

  • O movimento exato não importa — o gerador de vídeo é mais rápido; uma frase e deixe improvisar.
  • O que você está alinhando é a boca — a sincronia labial trabalha a partir do áudio e governa a fala.
  • Você precisa de quadros inicial e final exatos — o primeiro e último frame.
  • Você quer mudar a aparência — a edição de vídeo.

Um jeito razoável de pensar nisso

O valor desta página é a certeza sobre o movimento. Por isso ela serve a duas situações: você tem um movimento que precisa ser reproduzido (uma dança específica, um gesto específico), ou precisa de um lote de clipes com personagens diferentes e movimento idêntico.

Em compensação, se o movimento é qualquer um e tudo o que você quer é "que se mexa", o gerador de vídeo dá menos trabalho — nenhuma referência para preparar, uma frase basta.

Perguntas frequentes

Qual a diferença entre isto e o imagem para vídeo?+

No imagem para vídeo o modelo decide o movimento e você só o conduz vagamente com palavras — "dançando" devolve a ideia que o modelo tem de dançar. O controle de movimento usa um clipe real como molde de movimento, então o que acontece é aquele movimento específico. Use esta página quando o movimento tem de ser exato; use o imagem para vídeo quando quiser a ideia do modelo.

O que o clipe de referência precisa ter?+

Movimento claro e um corpo completo são o que mais importa. Movimento de corpo inteiro exige o corpo inteiro visível; gestos exigem mãos visíveis. Oclusão, luz muito fraca ou várias pessoas se movendo ao mesmo tempo degradam a extração. A qualidade de imagem da referência é irrelevante — ela só fornece o movimento, enquanto a aparência vem do seu personagem.

A referência vai influenciar a aparência do meu personagem?+

Por concepção, não — movimento da referência, aparência do seu personagem. Mas quando os dois diferem muito no enquadramento (uma referência de dança de corpo inteiro contra uma imagem de personagem da cintura para cima), o modelo precisa inventar a parte que falta, e essa parte pode não corresponder exatamente ao seu personagem.

Qual a relação disto com a sincronia labial?+

Elas governam partes diferentes: a sincronia labial alinha a boca ao áudio; o controle de movimento transfere movimento de corpo e pose. Para um personagem que se move e fala, a ordem habitual é primeiro o movimento, depois a sincronia labial.

Mais modelos