Нижние уровни умеют удерживать позу и исполнять траекторию. Но они не понимают смысл просьбы «убери колонку». Для этого нужны модели Vision-Language-Action, или VLA. Они связывают изображение, текстовое описание задачи и данные о положении робота с нужным действием.
В разговоре VLA описывается как визуально-языковая модель, подготовленная для робототехнической задачи и дополненная «головой действий». Она соотносит то, что робот видит, что ему сказали сделать и где находятся его части тела. Результат не заменяет управление движением. Модель действий предлагает, как выполнить захват или перенос, затем motion control превращает это в устойчивые положения тела во времени, а электроника исполняет команды на моторах.
В показанной схеме оператор может надеть костюм захвата движения. Система переносит движения человека на тело робота: этот процесс называют ретаргетингом. Во время работы записываются изображения с камер, положение частей тела и траектории до пальцев. Затем запись размечают: здесь предмет взяли, здесь перенесли, здесь поставили.
Такие примеры обучают модель не просто повторять жест, а связывать сцену и действие. Данные расширяют записями людей от первого лица и синтетическими вариантами: меняют фон, освещение, цвет стола или объекта. Это помогает навыку пережить изменение обстановки.
Полезен не только объём, но и покрытие. В данных нужны разные объекты, разные глаголы и разные сцены: предмет взяли сверху, сбоку, с другого стола; человек стоял иначе; колонка оказалась ближе к краю. По словам собеседника, из одной минуты записи генеративные методы могут получить во много раз больше вариантов окружения. Это не отменяет проверки на реальной машине, но снижает риск, что модель выучит случайную деталь одного кадра.
У успешного захвата есть цена: нужно понять, насколько он повторяем.
- Проследить путь команды от человеческой фразы до движения моторов.
- Выяснить, что умеет оператор и где начинается автономия.
- Проверить, что меняется от экземпляра к экземпляру и со временем.
- Собрать больше разнообразных примеров, прежде чем принимать решение.