Sistema multimodal de reconhecimento de linguagem gestual para o Google Earth

Abstract

Actualmente, são inúmeros os dispositivos utilizados, que dão uma ênfase de comodidade e conforto à nossa vida, características dos nossos tempos modernos. Esses dispositivos variam, desde sensores especializados até uma simples chave de um carro com fecho centralizado de portas. No âmbito dos Sistemas Móveis e Ubíquos, existe uma preocupação evidente com a melhoria do conforto na realização de tarefas quotidianas. Com base nesse princípio, esta dissertação foca-se no controlo de aplicações informáticas através do uso de sensores, neste caso, é utilizado o Microsoft Kinect como dispositivo de interacção com o Google Earth. O Microsoft Kinect é constituído por câmeras de vídeo e de profundidade, assim como, sensores de infravermelhos e de áudio. É vastamente utilizado em vários tipos de aplicações, mas com um enfoque especial no foro dos jogos de vídeo. Para a sua utilização, como dispositivo de interacção do utilizador com o Google Earth, foram desenvolvidas e melhoradas as primitivas gestuais do Microsoft Kinect. Como se trata de um equipamento bastante sensível, foi também utilizado um smartphone para auxiliar a interacção do utilizador. O Microsoft Kinect é responsável por reconhecer gestos feitos pela mão do utilizador e usar esses gestos como forma de interacção com o Google Earth. Por sua vez, o smartphone, é responsável pela vertente de interacção, relativa ao posicionamento e localização no modo de imersão do Google Earth. Esta dissertação apresenta-se como um desafio, na medida em que, ambiciona uma interligação natural entre utilizador e sensor, de forma a proporcionar um efeito de imersão do utilizador na navegação da aplicação informática.