Вы запускаете симулятор. В нём есть виртуальная копия робота, но она не обязана быть идеальной. На каждой серии обучения немного меняются масса, длины звеньев, свойства моторов и другие параметры. Модель получает награду за устойчивое движение и штраф за нежелательное поведение. Так она ищет стратегию, которая не зависит от одной слишком удобной физики.
Такую управляющую модель в разговоре называют политикой. На вход она получает состояние робота и цель, а на выходе даёт управляющие действия. Политика не означает «воспроизвести танец по кадрам»: когда робот переносит вес или сталкивается с неожиданным сопротивлением, ей приходится непрерывно корректировать движение.
Перед вами инженерный выбор. Специализированная политика может особенно точно исполнить одну траекторию. Генералист охватывает более широкий набор: пройти, наклониться, переставить предмет, сохранить позу на одной ноге. Но более общий навык может быть менее точен. Для склада важно не максимальное число эффектных умений, а соответствие навыка конкретной повторяемой операции.
- Проверить, достаточно ли устойчиво робот понимает своё положение.
- Вернуться к циклу: добавить случаи, на которых политика ошибается.
- Сразу сопоставить навык с требованиями пилота.