Колонка лежит на краю стола. Робот тянется к ней, но пальцы проходят на несколько сантиметров мимо. У такого промаха нет одной очевидной причины. Камера могла неверно выделить предмет на новом фоне. Оценка позы могла ошибиться. Стол мог стоять чуть дальше, чем в обучающей сцене. Робот мог наклониться иначе, чем предполагала модель.
Вы не исправляете проблему на глаз. Сначала разделяете журнал эпизода: что показали камеры, где система считала расположенными кисть и колонку, какие команды получила рука, было ли устойчивым положение стоп. Затем меняете один фактор и повторяете опыт. Только так можно отличить недостаток зрения от ошибки управления или от люфта в механике.
Этот разбор объясняет, почему разнообразие данных имеет ценность. Если навык собирали за одним столом, при одном освещении и с одинаковым объектом, он может выучить детали конкретной сцены вместо самого действия. Задача набора данных — покрыть меняющиеся предметы, фоны, положения и способы захвата.
- Проверить, сколько автономии было в этом захвате, а сколько — работы оператора.
- Искать источник ошибки в калибровке и механике.
- Сначала расширить покрытие обучающих данных.