Monitoring of Ocular Data for Robotic Control

Abstract

Esta dissertação tem como objetivo o controlo de um braço robótico, Kinova Jaco2, utilizando movimentos oculares de um utilizador. Esse tipo de controlo é explorado para fins assistivos, utilizadores com problemas de mobilidade ou simplesmente funcionalidades extra para interação homem-máquina.Uma breve análise do Eye Tracker é apresentada, onde são especificados os requisitos para sua comunicação com a interface de controle do robô escolhido. O uso da interface ROS permite o desenvolvimento dos componentes necessários para serem genéricos e modulares, que podem ser usados com outros braços robóticos. Para realizar o controle do robô considera-se a existência dos controladores ROS já desenvolvidos para o robô escolhido, assim os únicos requisitos são a geração de poses cartesianas desejadas.Usando dois blinks para sinalizar a geração de uma nova pose desejada, podendo esta ser gerada a partir da interseção do olhar do utilizador com a point cloud. Para isso, é necessário o conhecimento da localização do Eye Tracker no mundo obtido através de uma rigid body transform com marcadores Aruco colocados no mundo. A análise das características locais do ponto de interseção entre o olhar e a point cloud permite a extração da nova pose desejada. Um método de geração de pose adicional é implementado onde a seleção dos marcadores usando o foco visual do utilizador, sendo que para cada marcador a predefinição de uma pose desejada é necessária, o que permite o controlo do robô considerando a preparação do espaço de trabalho à priori.Em conclusão, os métodos desenvolvidos alcançaram uma precisão significativa, tendo em conta os erros inerentes presentes nos dados extraídos do Eye Tracker. Os métodos desenvolvidos para a geração de poses são específicos à aplicação, permitindo ao utilizador realizar tarefas semi-predefinidas mais rapidamente do que usando telemanipulação. Resultando em uma redução de ~30% no tempo de operação do robô.

This dissertation has as its objective the control of a robotic arm, Kinova Jaco2, using ocular movements of a user. This type of control is explored in an assistive context, disabled users, or simply extra functionality in human-machine interaction.A brief analysis of the Eye Tracker is presented, where the requirements for its communication with the chosen robot control interface are specified. The use of the ROS interface allows the development of the necessary components to be generic and modular, which can be used with other robotic arms. To accomplish the robot control it is considered the existence of the ROS controllers already developed for the chosen robot, as such the only requirements are the generation of cartesian desired poses. Using double blinks to hint the generation of a new desired pose, then these can be generated from either the intersection of the detected user gaze with the world point cloud. For which is required the knowledge of the location of the Eye Tracker in the world obtained using a Rigid Body transform on Aruco markers placed in the world. Analyzing the local features of the intersection point between the gaze and the point cloud allows the extraction of a new desired pose. An additional pose generation method is implemented where the selection of world markers using the user gaze, for each marker the existence of a predefined desired pose is required, allows for robot control considering preparation of the workspace a prior.In conclusion, the methods developed achieved significant accuracy, considering the inherent errors present in the data extracted from the Eye Tracker. The developed methods for pose generation are application-specific, these allows the user to accomplish semi-predefined tasks faster than manipulation. Resulting in a ~30% reduction in the time operation of the robot.