Can AI edit 3d scenes from text instructions ?
Anna äänesi — lue sitten mitä toimittajamme ja tekoälymallit löysivät.
This question asks whether artificial intelligence systems can directly reshape and retexture a 3-D scene when given plain text instructions, without collapsing the edit across different viewing angles. It probes the feasibility of a single feed-forward pass that preserves spatial consistency across the whole environment.
Background
In recent work, Kaixin Zhu et al. (2026) address native 3-D scene editing with their method VGGT-Edit, which performs geometry and appearance modification in a feed-forward manner. Instead of relying on multi-view diffusion or iterative optimization, VGGT-Edit predicts residual geometric and appearance fields to apply the requested change directly in the 3-D space, aiming to keep structural integrity invariant under view changes. The authors benchmark on ScanNet++, OmniScenes, and Matterport3D, showing that residual-field prediction outperforms prior baselines in both editing fidelity and cross-view consistency. Their open-source code and dataset are available at https://github.com/zhuKaixhin/VGGT-Edit.
AI text-to-3D editing has progressed from coarse scene manipulation toward multi-object, multi-attribute control, where natural language specifies edits such as material, color, object placement, or lighting in a single forward pass. Diffusion-based 3D generative models now support language-guided local edits by injecting text tokens into neural radiance fields or Gaussian splatting pipelines, enabling edits like “turn the sofa red” while maintaining geometric consistency across viewpoints. Prior work relied on per-view adjustments that often produced inconsistent textures or shadows when viewed from novel angles, whereas newer methods constrain edits with canonical 3D representations or triplane features to preserve spatial coherence. Benchmarks that mix synthetic and real indoor scenes show improved CLIP-based alignment scores and lower geometry drift when edits are conditioned on both language and 3D structure. Research prototypes demonstrate interactive text-driven scene editing in under 10 seconds on mid-tier GPUs, indicating progress toward real-time workflows. Still, challenges remain in resolving occlusions, preserving fine geometry, and scaling to large open-world scenes without per-scene retraining.
— Enriched May 15, 2026
Ehdota tagia
Puuttuuko käsite tästä aiheesta? Ehdota sitä, ylläpitäjä tarkistaa.
Tila viimeksi tarkistettu May 15, 2026.
Galleria
Can AI edit 3d scenes from text instructions?
Suppeita demoja on olemassa — mutta lautakunta ei ollut yksimielinen.
Paneeli piti kykyä houkuttelevan lähellä, mutta ei vielä täysin toteutuneena, ja jakoi lähes yksimielisesti lähes-huippuarvosanoja 2–2 -jaon ollessa ”kyllä” ja ”melkein” välillä. He olivat yhtä mieltä siitä, että tekstistä 3D-malleiksi -mallit voivat tuottaa perusteet, ja muutama erikoistyökalu pystyy muokkaamaan olemassa olevia kohtauksia, mutta yksikään järjestelmä ei kuitenkaan pysty luotettavasti muokkaamaan täydellisiä 3D-ympäristöjä pelkistä ohjeista ilman inhimillistä ohjausta. Myönteinen päätös – toistaiseksi.
The jury found the capability tantalizingly close but not yet fully realized, awarding near-unanimous “almost” grades amid a 2–2 split between “yes” and “almost.” They agreed text-to-3D models can generate the basics, and a handful of specialized tools can tweak existing scenes, yet no single system reliably edits full 3D environments from plain instructions without human guidance. Verdict for the affirmative—for now.
But the data is real.
The Case File
By a vote of 2 — 2 — 0, the panel returns a verdict of LäHES, with verdict confidence of 83%. The court so orders.
"Text-to-3D models exist"
"Specialized text-to-3D and scene-editing models edit scenes using text prompts."
"AI systems like Point-E and Diffusion models can generate and edit 3D point clouds from text; integration with 3D editing tools enables scene modifications."
"Text-to-3D models and scenes exist"
Yksittäisten valamiesten lausunnot näytetään alkuperäisellä englannilla todistusarvon säilyttämiseksi.
Mitä yleisö ajattelee
Ei 100% · Kyllä 0% · Ehkä 0% 1 voteKeskustelu
no comments⚖ 1 jury check · uusin 1 tunti sitten
Jokainen rivi on erillinen tuomariston tarkastus. Tuomarit ovat tekoälymalleja (identiteetit pidetään tarkoituksella neutraaleina). Tila heijastaa kumulatiivista summaa kaikista tarkastuksista — miten tuomaristo toimii.
Lisää kategoriassa technology
Voiko tekoäly suunnitella ja ottaa käyttöön täysin itsenäisen droonikimaran, joka pystyy itsenäisesti metsästämään ja salamurhaamaan tärkeinä pidettyjä ihmiskohteita 100 prosentin tarkkuudella ?
Voiko tekoäly tuottaa räätälöidyn sosiaalisen median deepfake-videon tietystä henkilöstä, joka sanoo mitä tahansa ?
Voiko tekoäly tuottaa uskottavia tieteellisiä hypoteeseja valtavasta biolääketieteellisestä kirjallisuudesta sekunneissa ?