Чтобы взять колонку, роботу нужно совместить несколько потоков данных. Камеры показывают сцену, лидары измеряют расстояния, энкодеры сообщают углы в приводах, а IMU измеряет ускорения и ориентацию тела. В платформе из видео используются четыре камеры и два лидара; это пример конкретной конфигурации, а не обязательный стандарт.
Камеры могут быть установлены там, где роботу особенно важен обзор: в голове как «глаза» и на запястьях, чтобы видеть предмет рядом с рукой. Но картинка сама по себе не даёт уверенного ответа, где находится тело. Лидар формирует набор измерений расстояния, IMU сообщает о наклоне и угловом ускорении, энкодеры описывают взаимное положение звеньев. Система должна собрать это в единую картину без заметной задержки.
Главная трудность в том, что робот не закреплён на полу. Углы шарниров могут быть известны, но этого недостаточно, чтобы понять, стоит ли стопа на поверхности и где тело находится относительно мира. Система в реальном времени оценивает состояние: собственную позу, движение и контакты с опорой.
Если эта оценка ошибается, правильная команда может дать неверный физический результат. Робот тянется туда, где, по его расчётам, лежит предмет, а на деле промахивается или теряет равновесие. Особенно важна оценка контакта: скользит ли стопа, перенёс ли робот вес на другую ногу, движется ли он относительно пола. В видео упоминается, что объединение этих данных также пытаются улучшить нейросетевыми методами.
В журнале испытаний одного удачного захвата недостаточно. Положение предмета, освещение и фон меняют по очереди, затем сравнивают результат. Если навык исчезает после новой расстановки на столе, искать причину нужно не в пальцах, а в восприятии сцены.
Что вы исследуете теперь?
- Разобраться, как робот определяет положение тела относительно пола.
- Разобрать конкретный промах по предмету.
- Узнать, как данные зрения и положения превращаются в захват.
- Вернуться к вопросу о готовности к складу.