Frames Fake? Como funciona o gerador de quadros, suas vantagens e limitações

O lançamento das RTX 50 da NVIDIA acirraram as discussões sobre os frames fakes, ou em português, os quadros falsos, que são aqueles gerados não da forma tradicional, e sim via inteligência artificial.

Com o crescimento da IA, que está sendo especialmente bom para a própria Nvidia, não é de ficar surpreso que a empresa está aplicando inteligência em qualquer problema que surja na sua frente.

Mas frames feitos por IA são tão bons quanto os tradicionais? Ou isso aí é engodo da NVIDIA pra vender mais performance sem ter que vender mais produto?

Vamos nos aprofundar nesse tema que vai ser bem espinhoso, especialmente com as análises das GeForce RTX 50 vindo aí. Como testar placas de vídeo nessa era das desigualdades, onde nem todos os quadros são iguais?

A era da IA na rederização dos games

Essa confusão toda começa com a introdução do DLSS, anunciado em 2018. A lógica era a seguinte: você pode renderizar a imagem em uma resolução menor e usar a IA para gerar mais pixels na tela.

Chegou o DLSS nas GeForce RTX: veja como ficam os gráficos e performance em FFXV

Há duas vantagens nessa técnica. A primeira é ganho de desempenho. Quando você renderiza em uma resolução menor, você tem mais desempenho. É menos pixel pra placa de vídeo fazer.

O ganho é tão alto que mesmo considerando que a IA vai gastar alguns milissegundos para criar os pixels que faltam e fazer o aumento para a resolução final, a técnica do Upscaling, você ainda vai terminar com uma taxa de quadros maior que se renderizar diretamente na resolução final.

A segunda vantagem é que o aprendizado da máquina pode fazer até correções na imagem na medida que gera os novos pontos na tela. Assim, o DLSS chega entregando mais qualidade gráfica que técnicas como o TAA, o Temporal Anti Aliasing, que além de entregar uma imagem mais desfocada, pode ter artefatos.

E aqui vem uma distinção que eu acho importante fazer entre os diferentes modos do DLSS. O upscaling, para mim, é a técnica mais consistente. Se você der uma resolução minimamente suficiente, algo partindo de 1080p, dá para escalar facilmente para até 4K com uma qualidade comparável, senão melhor, que renderizar pelas técnicas tradicionais. E ainda ter ganhos de performance no caminho.

Outra coisa que também é consistente, são os ganhos em latência. Latência é a diferença entre você dar comandos, e ver eles acontecendo na sua tela. Entre você clicar, o game receber esse comando, o hardware processar o novo frame e sua tela mostrar isso pra você.

O DLSS no modo upscaling reduz o tempo que o hardware leva para gerar o quadro e exibir. Então além de aumentar os FPS, o upscaling reduz o tempo que seu PC precisa para fazer o frame e, por consequência, vai reduzir a latência do game, e dar uma sensação que o seu jogo está mais responsivo. É só vitórias. Mas aí surge o gerador de quadros, com o DLSS de terceira geração, e as coisas ficam mais complexas.

Quadros todos feitos por IA

O gerador de quadros cria quadros inteiros via IA. Funciona assim: você gera um quadro, mas antes de gerar o próximo e exibir, ele segura a exibição desses segundo quadro.
E é aí que o gerador de quadros entra em ação. Ele cria um novo quadro intermediário, com informações do primeiro e do segundo quadro interpoladas. Então é exibido um frame renderizado pelo jogo, um por IA, um pelo jogo, um por IA, sempre de forma intercalada.

Então você, em teoria, tem o dobro de frames sendo exibidos. Mas tem dois problemas que surgem aqui. O primeiro é latência: você está atrasando a exibição dos frames renderizados para dar tempo do aprendizado da máquina gerar o frame intermediário.

Segundo uma conta que ouvimos do próprio Ziebert, em uma entrevista que publicamos recentemente, essa latência é proporcional ao tempo que os quadros estão levando para serem feitsos. O gerador de quadro deve atrasr a exibição em algo em torno de metade do tempo que cada quadro tem sido feito.

Ou seja, em um game a 60fps, com cada quadro feito em 16 milissegundos, você deve ter uma latência adicional de 8 milissegundos se ligar o gerador de quadros.
Então se você já tem um problema de latência, aplicar o gerador de quadros vai piorá-lo. E quanto pior estiver rodando o seu game, ainda pior vai ser o… pioramento.

O segundo problema são os artefatos. Os quadros feitos por IA geram eventuais artefatos. Com a movimentação do jogo, pode não ser tão perceptível, mas eles existem.

Percebe que são duas situações bem diferentes? O upscaling por IA melhora a latência, e tem casos que pode entregar mais qualidade gráfica que renderizar nativamente.
Já o gerador de quadros até entrega taxas de quadro mais altas, e vai entregar mais fluidez na imagem, mas tem comprometimentos em qualidade gráfica e na latência dos comandos.

Comparar algo incomparável?

Por isso as comparações que a Nvidia faz, colocando games rodando sem nenhuma tecnologia de IA, versus os games com o DLSS, como uma comparação desonesta, porque deixa todas essas nuances de fora. Faltou por uns asteriscos em algum lugar.

Ao colocar o gerador de quadros comparado ao game rodando apenas com quadros renderizados naturalmente, a Nvidia está tratando como se você estivesse tendo todos os benefícios de um game realmente rodando mesmo acima dos 200fps.

Como vemos nas apresentações, o jogo rodando com DLSS e tendo 35 milissegundos não é uma latência ruim, mas um game realmente rodando em 240 quadros por segundo tem cada quadro, em média, feito em 4 milissegundos. É outro nível de latência e responsividade.

Logo, não é a mesma coisa um jogo rodando na força bruta em 240 quadros, com uma latência absurdamente baixa, com todos os frames livres de qualquer potencial artefato e com todos eles exibindo informações fresquinhas do motor do jogo, ao invés de interpolações criadas entre dois quadros.

Eu testei um pouco do DLSS 4 direto da CES, e a experiência parecia boa o suficiente. A latência não era exagerada, e nem os artefatos gerados pela IA, apesar que são perceptíveis.

Marketing desonesto?

Isso me irrita desde o anúncio dos geradores de quadro na terceira geração do DLSS. A tecnologia é um feito tecnológico dos engenheiros da NVIDIA, vendida de forma desproporcional pelo marketing da mesma NVIDIA.

Era só apresentar o gerador de quadros como uma forma de aumentar a fluidez da imagem, e não como sendo efetivamente o jogo sendo rodado naquela taxa de quadros.
Fica evidente essa comparação errada no momento mais forte da apresentação, quando Jensen Huang, CEO da Nvidia fala que a RTX 5070 tem performance de RTX 4090, uma placa com preço de lançamento três vezes mais cara.

Keynote de Jensen

E quando Jensen fala que isso é impossível sem a inteligência artificial, é só ver os gráficos de performance da própria Nvidia para perceber que o salto de desempenho prometido é totalmente dependente do uso do DLSS 4.

É só ver os dois primeiros games, sem gerador de quadros, ou o DaVinci Resolve, para entender que o salto de desempenho da RTX 4070 para RTX 5070 não vai ser tudo isso se o gerador de quadros não estiver lá para dar esse up na taxa de quadros.

E quando ele não estiver lá, os 20% de ganho de performance que a RTX 5070 parece que terá vão fazer faltar outros 80% pra chegar na suposta performance de RTX 4090 prometida.

Até porque, Jensen, é só parar para olhar um segundo para todas as especificações da RTX 4090 e RTX 5070 pra ficar óbvio que você não está comprando o mesmo nível de produto.

E isso tudo com todo o potencial da comparação envelhecer tipo leite se as RTX 40 receberem o gerador de quadros múltiplos do DLSS 4, no futuro. E agora isso nos trás para o problema prático chegando aqui no Adrena. Como vamos fazer as análises?

Nossas análises incluem testes com gerador de quadros apenas em benchmarks específicos. Nossos testes usam as tecnologias de upscaling, porque como explicamos já neste vídeo, elas têm vantagens relevantes na experiência e acreditamos que devem ser sempre usadas, especialmente em resoluções mais avançadas.

Mas o gerador de quadros não, porque entendemos mais como um bônus, uma capacidade de ampliar a fluidez da imagem, mas com os efeitos negativos em não apenas não melhorar, mas na verdade, piorar a latência, e eventualmente gerar artefatos na imagem. Não é um recurso que você deve ligar necessariamente.

Porém, ao mesmo tempo, essa tecnologia é justamente um diferencial desta geração. Agora as RTX conseguem gerar até 3 quadros por IA entre os quadros do jogo. E nós vamos ter que investigar essa tecnologia. Então o jeito vai ser uma segunda rodada de testes, ligando o gerador de quadros em todas as placas de vídeo e games com esse recurso.

Isso inclui ligar o FSR 3 nas Radeon. afinal as Radeon já brincam disso também.
Assim vai ser possível conhecer tanto a performance bruta da placa, e se ela está atingindo aquele gameplay acima dos 60fps para ter uma boa responsividade nos comandos, quanto ver até onde o gerador de quadros pode ir, tendo os resultados da tecnologia ligada e desligada.

Temos que testar porque essa tecnologia também é legal, especialmente para os donos de telas de altíssimas taxas de atualização, e que nunca vão buscar seus 240, 360 ou até mais hertz só na força bruta. É muito difícil que sua placa de vídeo chegue até lá sem sacrificar muita qualidade gráfica, ou até mesmo seu processador não vire o gargalo do sistema antes de chegar a esses valores insanos de FPS.

Altas taxas de quadros na nova geração RTX 50

E isso é outro exemplo como o gerador de quadros é maneiro, porque ele consegue entregar mais fluidez escapando do gargalo mesmo que ele nem seja da placa de vídeo, e sim do processador.

É assim que a RTX 5070 não apenas alcançou a RTX 4090, como vimos ela entregando mais FPS que ela em um teste em Marvel Rivals, no espaço de demonstrações na CES da Nvidia.

Ali o que deve estar acontecendo é que as GeForce RTXs nem são o gargalo do teste, e sim o processador. Então a vantagem de performance é alcançada pelos frames gerados por IA, e a RTX 5070 faz bem mais deles.

O resultado é a vitória na taxa de quadros, mas novamente, isso não é necessariamente verdade para a latência dos comandos, por exemplo. E em um game competitivo, isso é também bastante relevante.

Estamos entrando em uma era que fazer benchmarks está muito desafiante, e isso que nem toquei em outra questão: com a Nvidia melhorando seus algoritmos de upscaling ainda mais, quer dizer que estamos também fazendo uma comparação injusta com as Radeon.

Afinal, ligar o FSR não é ter o mesmo grau de qualidade que o DLSS, e essa diferença tende a aumentar agora, ou ao menos ficar maior até a AMD enfim tirar do forno o seu upscaling via IA.

O próprio Ray Tracing, com o Ray Reconstruction da Nvidia, quando colocamos as barras de performance de Radeons e GeForces na tela, também não estamos colocando nessa comparação que a qualidade gráfica não é a mesma. As GeForces tem técnicas superiores de traçamento de raios e entregam mais qualidade.

E as IAs tem um problema para mim (que testo), e uma vantagem para vocês (que usam). Elas evoluem. Meu conteúdo pode ficar velho rápido, afinal o DLSS da Nvidia vai ganhar um novo modelo, treinado para entregar melhores resultados. Pode ser que minhas reclamações sobre artefatos nos frames gerados vão, rapidamente, ficar datadas.

Bom galera, a caixa de comentários está aberta para o feedback de vocês. Opiniões são bem-vindas para pensarmos sobre nossos futuros testes. Será que o futuro não é ligar tudo que é gerador de quadros, mas combinar essa informação com a latência total do sistema? Assim vocês saberiam tanto a fluidez quanto a responsividade do gameplay.
E como lidar com a IA nos testes?

Esse é um tema que vamos ter que nos adequar, porque a realidade é essa. Games e fabricantes não vão parar de usar essa tecnologia. Eles vão usar, mais e mais.