Mobile robot assisted navigation based on collaborative control

Abstract

This thesis proposes an Assisted Navigation System (ANS) for a Robotic Wheelchair (RW) relying on a sparse and discrete Human-Machine Interface (HMI), more precisely a P300-based Brain-Computer Interface (BCI), or, in alternative, a switch/multi-switch with a scanner interface that allows a selection of commands to steer a RW. The proposed ANS is primarily intended for people with severe motor disabilities who are not able to operate most of the commercial HMIs. The ANS is based on a two-layer collaborative control approach that takes into account both human and machine information. The proposed collaborative controller complies with four essential design requirements: dialogue, awareness, self-reliance, and adaptiveness. The P300-based BCI, allowing a communication channel completely independent of any motor control requirement, appeared as a good choice for motor impaired users. However, due to the P300-based BCI system's low transfer rates, the user is only able to issue sparse and discrete commands over time. In this sense, to e ectively use such HMI, we are proposing an ANS able to predict and execute user navigation intents with minimum information. This relates directly to two design requirements: awareness and self-reliance, meaning that the RW must be able to clearly identify situations where aid is required, and ask for help in these situations. Moreover, since users are only able to issue sparse information over time, the robot must be self-reliant and able to cope with dynamic changes in the environment without requiring any aid or, if it is really needed, it must be able to deal with unreliable and delayed information. Our ANS includes a localization system, an obstacle detection module, and a local planner that were designed to deal with changes in the environment, providing some degree of self-reliance to the RW. We propose a planning strategy that can deal with low cluttered semi-structured environments. It comprises a global planner that provides a global path to reach a pre-de ned goal, and a local planner that intervenes when changes in the environment are detected. We propose a modi ed VFH that is carried out in three stages: steering, path-planning and blending. Unlike the approaches proposed by [Borenstein 1991, Ulrich 2000], our proposal builds a polar histogram directly from laser scan information. Additionally, our approach is also able to blend global and local paths. A Markov localization approach is also proposed. It was designed to fuse odometry with a new polar scan matching algorithm, composed by three main stages: scan preprocessing, virtual scan, and matching. The proposed matching algorithm uses the sample Pearson correlation coe cient to evaluate the similarities between current and virtual scans. The correlation factor is determined on polar coordinate space, leading to a reduction of computational complexity of this algorithm. We also propose an Extended Kalman Filter (EKF) to fuse the odometric data with the data from magnetic markers that are detected with a 3D algorithm. The latter is based on the Least Squares Fitting (LSF) of the measurement data with the 3D model of the vertical magnetic eld. The collaborative controller is also adaptive to the user's skillfulness in steering the assisted RW. To perform user characterization, we propose an Assistive Navigation training Framework (ANTF) that is able to characterize users, by sorting them into three di erent steering levels: beginner, average, and advanced. The ANTF is also intended for training users with disabilities to steer the RW. Experimental results using RobChair, the RW platform developed at ISR-UC [Pires 2002, Lopes 2007] are here presented, showing the e ectiveness of the proposed methodologies. The prototype was validated with ten able-bodied participants, and one disabled participant, in two di erent scenarios: a structured known environment, and a structured unknown environment with moving objects. Overall results have shown that all participants were able to successfully operate the device, showing a high level of robustness of both the BCI system and the navigation system.

Esta tese apresenta um sistema de navega c~ao assistida (ANS) para uma cadeira de rodas robotizada (RW) que se suporta numa interface homem-m aquina (HMI) que providencia comandos esparsos e discretos, mais precisamente um interface c erebro-computador (BCI) baseado em P300, ou, em alternativa, um sistema interruptor/ multi-interruptores com uma interface de varrimento que permite a sele c~ao de comandos para navegar uma RW. A ANS proposta destina-se a pessoas com de ci^encias motoras graves que n~ao s~ao capazes de operar a maioria das HMIs comerciais. A ANS e baseada numa abordagem de controlo colaborativo de duas camadas que considera as informa c~oes provenientes do homem e da m aquina. O controlador colaborativo proposto est a em conformidade com quatro requisitos de conce c~ao essenciais: di alogo, consci^encia, auto-su ci^encia, e capacidade de adapta c~ao. A escolha da BCI baseada em P300, a qual nos oferece um canal de comunica c~ao que e completamente independente de qualquer exig^encia de controlo motor, apresenta-se como uma boa escolha para utilizadores com de ci^encias motoras graves. No entanto, devido as baixas taxas de transfer^ encia do sistema BCI baseado em P300, o utilizador s o e capaz de emitir comandos esparsos e discretos ao longo do tempo. Neste sentido, para efetivamente usar tal HMI, prop~oe-se um ANS capaz de prever e executar as inten c~oes do utilizador, tendo por base informa c~oes m nimas. Esta quest~ao est a diretamente relacionada com dois requisitos de conce c~ao: consci^encia e auto-su ci^encia, o que signi ca que a RW deve ser capaz de identi car claramente as situa c~oes onde a ajuda e necess aria, e pedi-la nesses casos. Al em disso, uma vez que os utilizadores s o s~ao capazes de emitir informa c~os esparsas ao longo do tempo, o rob^o deve ser auto-su ciente e capaz de lidar com mudan cas din^amicas no ambiente, sem necessidade de qualquer ajuda, ou caso esta seja necess aria, ser capaz de lidar com informa c~oes n~ao con aveis e com atrasos. O ANS inclui um sistema de localiza c~ao, um m odulo de detec c~ao de obst aculos, e um planeador local, que foram projetados para lidar com as mudan cas do ambiente, e providenciam um certo grau de auto-su ci^encia a RW. N os propomos uma estrat egia de planeamento que e capaz de lidar com ambientes semi-estruturados pouco congestionados. A abordagem de planeamento e composta por um planeador local, que fornece um caminho global para atingir uma meta pr e-de nida, e num planeador local que interv em sempre que se detetam mudan cas no ambiente. Como planeador local propusemos um VFH modi cado que e realizado em tr^es etapas: dire c~ao, planeador de caminho e fus~ao. Ao contr ario das abordagens propostas por [Borenstein 1991, Ulrich 2000], a nossa abordagem constr oi um histograma polar diretamente do varrimento do laser. Adicionalmente, a abordagem proposta tamb em e capaz de fundir caminhos globais e locais. Como abordagem de localiza c~ao prop~oe-se um algoritmo de Markov que se baseia na fus~ao da odometria com os dados provenientes de um novo algoritmo de correspond^encia de varrimentos em coordenadas polares. Este ultimo e realizado em tr^es fases: pr eprocessamento, varrimento virtual e correspond^encia. O algoritmo de correspond^encia proposto utiliza o coe ciente de correla c~ao de Pearson amostrado para avaliar as semelhan cas entre os varrimentos atuais e virtuais. O factor de correla c~ao e determinado no espa co de coordenadas polares, conduzindo a uma redu c~ao na complexidade computacional. Prop~oe-se ainda um ltro de Kalman extendido (EKF) para fundir os dados de odometria com os dados de marcadores magn eticos, os quais s~ao detetados com um algoritmo 3D. Este ultimo e baseado no m etodo de ajuste dos m nimos quadrados (LSF) dos dados de medi c~ao, com o modelo 3D do campo magn etico vertical. O controlador colaborativo e adapt avel a capacidade do utilizador em conduzir a RW. Para realizar a caracteriza c~ao do utilizador propomos uma plataforma de forma c~ao em navega c~ao assistida (ANTF), que e capaz de caracterizar os utilizadores, e classi c a-los em tr^es n veis de navega c~ao diferentes: principiante, m edio e avan cado. A ANTF tamb em e destinada ao treino de navega c~ao da RW de utilizadores com de ci^encia motora. Os resultados experimentais com a RobChair, a plataforma RW desenvolvida no ISRUC [Pires 2002, Lopes 2007] s~ao apresentados, demonstrando a e c acia das metodologias propostas. O prot otipo foi validado com 10 participantes sem de ci^encia, e um participante com de ci^encia motora grave, em dois cen arios distintos: um ambiente estruturado conhecido, e um ambiente estruturado desconhecido com obst aculos em movimento. O resultado global mostra que todos os participantes foram capazes de operar com ^exito o sistema, mostrando um elevado n vel de robustez do sistema BCI e do sistema de navega c~ao.