A IA consegue editar cenas 3D a partir de instruções em texto ?

Esta questão pergunta se os sistemas de inteligência artificial podem reformatar e retexturizar diretamente uma cena 3D quando lhes são dadas instruções em texto simples, sem que a edição colapse em diferentes ângulos de visualização. Explora a viabilidade de uma única passagem direta que preserve a consistência espacial em todo o ambiente.

Background

Em trabalho recente, Kaixin Zhu et al. (2026) abordam a edição nativa de cenas 3D com o seu método VGGT-Edit, que realiza modificações de geometria e aparência de forma direta (feed-forward). Em vez de depender de difusão multi-visão ou otimização iterativa, o VGGT-Edit prevê campos residuais geométricos e de aparência para aplicar a alteração solicitada diretamente no espaço 3D, com o objetivo de manter a integridade estrutural invariante às mudanças de perspetiva. Os autores realizam testes em ScanNet++, OmniScenes e Matterport3D, demonstrando que a previsão de campos residuais supera as abordagens anteriores tanto na fidelidade da edição como na consistência entre perspetivas. O código e os dados de código aberto estão disponíveis em https://github.com/zhuKaixhin/VGGT-Edit.

A edição de texto para 3D com IA evoluiu de manipulações grosseiras de cenas para um controlo multi-objeto e multi-atributo, onde a linguagem natural especifica edições como material, cor, posicionamento de objetos ou iluminação num único passo direto. Os modelos generativos 3D baseados em difusão agora suportam edições locais guiadas por linguagem ao injetar tokens de texto em campos de radiância neural ou pipelines de Gaussian splatting, permitindo edições como “tornar o sofá vermelho” enquanto mantêm a consistência geométrica entre perspetivas. Trabalhos anteriores dependiam de ajustes por perspetiva que muitas vezes produziam texturas ou sombras inconsistentes quando visualizadas de ângulos novos, enquanto os métodos mais recentes restringem as edições com representações 3D canónicas ou características triplane para preservar a coerência espacial. Testes que combinam cenas interiores sintéticas e reais mostram melhorias nos scores de alinhamento baseados em CLIP e menor desvio geométrico quando as edições são condicionadas tanto pela linguagem como pela estrutura 3D. Protótipos de investigação demonstram edição interativa de cenas guiada por texto em menos de 10 segundos em GPUs de gama média, indicando progresso em direção a fluxos de trabalho em tempo real. Ainda assim, permanecem desafios na resolução de oclusões, preservação de geometria fina e escalabilidade para cenas de mundo aberto sem retreino por cena.

— Enriquecido a 15 de maio de 2026