Команда «убери колонку» проходит через несколько уровней. Верхний уровень планирования решает, какие шаги нужны: подойти, наклониться, взять предмет, отнести, поставить. Модель действий связывает эти шаги с наблюдаемой сценой и предлагает, как должен двигаться робот. Motion control обеспечивает устойчивую траекторию всего тела. Аппаратная платформа исполняет команды через контроллеры и моторы.
Такое деление полезно для диагностики. Если планировщик верно выбрал «взять колонку», но пальцы не дошли до неё, проблема не обязательно в планировании. Если рука достигла цели, но корпус потерял баланс, модель действий могла быть разумной, а нижний уровень — недостаточно устойчивым. Четыре слоя позволяют говорить о сбоях конкретно.
Для контролируемых процессов верхний слой не обязан быть большой языковой моделью. В видео упоминаются машины состояний и деревья поведения: они подходят, когда этапы процесса известны заранее. В открытом и меняющемся мире потребуется больше контекста. Тогда модель должна увидеть сцену, понять смысл задачи вроде уборки и составить план из доступных атомарных действий.
- Узнать, откуда берутся примеры для модели действий.
- Посмотреть на команду и производственный цикл, которые соединяют все слои.
- Вернуться к решению о пилоте.