Olá Tiago,
O professor explica isso nas aulas das Partes 3 e 4. Neste problema, as ações não são os passos unitários do robô, mas sim seu destino final. Ou seja, se ele escolher a ação 4, isso implica ir da onde ele estiver até o estado 4. A questão dos passos unitários é tratada na tabela de recompensas, que impede que o robô escolha estados inacessíveis.