GPUs com 6GB de VRAM agora podem gerar vídeos de IA
Sua GPU que possui 6GB de RAM agora pode gerar vídeos de IA graças a uma nova implementação apresentada no GitHub.
O FramePack foi criado por Lvmin Zhang, do GitHub, em colaboração com Maneesh Agrawala, da Universidade Stanford. A solução usa a difusão de vídeo através de contexto temporal de comprimento fixo para um processamento mais eficiente, permitindo vídeos mais longos e de maior qualidade. Por exemplo, um modelo de 13 bilhões de parâmetros construído usando a arquitetura FramePack pode gerar um clipe de 60 segundos com apenas 6 GB de memória de vídeo da sua placa de vídeo.
Vídeos por IA com GPUs de 6GB de RAM
O FramePack é uma arquitetura de rede neural que utiliza técnicas de otimização em múltiplos estágios para permitir a geração local de vídeo por IA. Atualmente a interface gráfica do FramePack supostamente executa um modelo personalizado baseado em Hunyuan, embora o artigo de pesquisa mencione que modelos pré-treinados existentes podem ser ajustados com o FramePack.
Modelos de difusão típicos processam dados de quadros com ruído gerados anteriormente para prever o próximo quadro, com menos ruído. O número de quadros de entrada considerado para cada previsão é chamado de comprimento do contexto temporal, que aumenta com o tamanho do vídeo. Modelos de difusão de vídeo padrão exigem uma quantidade de VRAM mais robusta, com 12 GB sendo um ponto de partida comum. Mas com o FramePack isso muda de figura.
O FramePack é uma nova arquitetura que compacta quadros de entrada, com base em sua importância, em um comprimento de contexto de tamanho fixo, reduzindo drasticamente a sobrecarga de memória da GPU. Todos os quadros devem ser compactados para convergir em um limite superior desejado para o comprimento do contexto. Os autores descrevem os custos computacionais como semelhantes aos da difusão de imagens.
Essa nova arquitetura oferece uma geração de vídeo mais longa sem comprometer significativamente a fidelidade, aliado a técnicas para mitigar o “drifting”. O FramePack requer uma GPU da série NVIDIA RTX 30/40/50 com suporte para os formatos de dados FP16 e BF16. O suporte a arquiteturas Turing e anteriores não foi verificado, sem menção a hardware AMD ou Intel. O Linux também está entre os sistemas operacionais suportados.
O modelo utilizado provavelmente tem um limite de 30 FPS. O FramePack pode tornar a geração de vídeos por IA mais acessível para o consumidor médio, possibilitando a criação de conteúdo,como uma ferramenta para criar GIFs, memes e outras coisas. Lembrando que essa é uma das suas primeiras versões e essas soluções sempre estão em constante evolução.
FONTE: GitHub
