Czy AI może sterować robotami przy użyciu języka naturalnego ?

AI może instruować roboty, aby manipulowały przedmiotami, poruszały się po pomieszczeniach i wykonywały zadania przy użyciu codziennych instrukcji głosowych od ludzi.

Obecne systemy potrafią interpretować instrukcje w języku naturalnym, aby sterować prostymi ramionami robotów i mobilnymi platformami w ograniczonych środowiskach, często łącząc duże modele językowe z modułami specyficznymi dla robotów w celu zakotwiczenia poleceń w danych z sensorów. Benchmarki takie jak SayCan i ALFRED pokazują, że roboty potrafią wykonywać wieloetapowe polecenia głosowe w pomieszczeniach, gdy dziedziny zadań są ograniczone, ale uogólnienie na nieustrukturyzowane, rzeczywiste środowiska pozostaje wyzwaniem. Dokładne tłumaczenie języka na ruch wciąż jest zawodne: źle zrozumiane słowa, niejednoznaczne sformułowania lub nowe konteksty często powodują awarie. Prace nad modelami end-to-end, które łączą widzenie, język i działanie, są w toku, jednak nie osiągnięto jeszcze niezawodnego sterowania w czasie rzeczywistym wyłącznie za pomocą mowy w warunkach poza laboratorium.

— Wzbogacono 11 maja 2026 · Źródło: Google DeepMind — https://deepmind.google/discover/blog/saycan-planar-manipulation-language-planning/