A Adobe está oferecendo aos cineastas uma nova ferramenta generativa de áudio de IA que pode adicionar rapidamente faixas de apoio e narração apropriada ao tema aos vídeos. Generate Soundtrack e Generate Speech foram introduzidos no aplicativo Adobe Firefly AI redesenhado, enquanto a Adobe também desenvolveu uma nova ferramenta de produção de vídeo baseada na web que combina vários recursos de IA com uma linha de tempo de edição simples.
A ferramenta Generate Soundtrack foi lançada em versão beta pública no aplicativo Firefly e funciona avaliando os vídeos enviados e gerando uma seleção de clipes de áudio instrumentais que são automaticamente sincronizados com a gravação. Os usuários podem direcionar o estilo musical escolhendo entre as predefinições fornecidas, como lofi, hip-hop, clássico, EDM e muito mais, ou descrever a vibração desejada na interface de prompt de texto fornecida – pedindo que seja mais sentimental, agressivo e assim por diante. A ferramenta também irá sugerir pistas com base nas imagens de vídeo enviadas que podem ser usadas como ponto de partida.
“Queremos ajudar os usuários a direcionar a música. Este é um novo poder que precisamos desenvolver, para torná-lo mais fácil e acessível, se você nos fornecer seu clipe, preveremos que tipo de música corresponde a esse clipe”, disse o chefe de IA generativa da Adobe, Alexandru Costin. Borda. “Mas também oferecemos essa abordagem Mad Libs, onde você pode escolher o clima, o estilo e o propósito do seu clipe.”
Generate Soundtrack fornecerá quatro variações diferentes de clipes de áudio por prompt, com cada clipe tendo duração máxima de cinco minutos. O modelo Firefly AI no qual o Generate Soundtrack se baseia é treinado em conteúdo licenciado, o que significa que não colocará os criadores de conteúdo em risco de ter seus vídeos removidos devido a avisos de direitos autorais. “Compramos música e sons de proprietários de IP, e é por isso que temos confiança para oferecê-los como música comercialmente segura”, disse Costin.
A ferramenta Generate Speech da Firefly também está sendo lançada em versão beta pública e pode ser usada para criar narrações para projetos de vídeo a partir de texto. Ele fornece mais de 50 vozes suportadas pelo Firefly Speech Model da Adobe ou ElevenLabs, com suporte para mais de 20 idiomas. Os usuários podem ajustar itens como velocidade, tom e emoção, bem como corrigir manualmente a pronúncia de nomes ou palavras que possam ter variações regionais.
Outra ferramenta de produção cinematográfica em desenvolvimento é o editor de vídeo Firefly, que a Adobe descreve como “um editor de linha do tempo multipista para gerar, organizar, cortar e sequenciar clipes”. Ele combina várias ferramentas da Adobe para produzir dublagens, trilhas sonoras e títulos em um aplicativo baseado na Web, juntamente com recursos de edição quadro a quadro e predefinições de estilo. O editor de vídeo Firefly começará a ser lançado em versão beta privada no próximo mês, e os usuários em potencial terão que se inscrever em uma lista de espera para acesso antecipado.
