mSkinColorCalib - Computer vision-based system for color calibration of mobile-acquired skin lesion images

Abstract

Aplicações de teledermatologia móvel têm vindo a ganhar dimensão como uma ferramenta promissora no auxílio de médicos ao diagnóstico do cancro de pele. Estas aplicações dependem da extração de características da cor que são sensíveis tanto às condições de iluminação como ao dispositivo de aquisição da imagem. Esta tese apresenta o desenvolvimento de um sistema de calibração da cor de imagens de lesões de pele capturadas com um dispositivo móvel. Através do uso de um gráfico de compensação de cores para estimar a relação entre as cores na imagem e as cores de referência, o sistema implementado reduz a influência do ambiente e da câmera usada.A metodologia é dividida nas fases de pré-aquisição e de pós-aquisição. A primeira determina as configurações ótimas da câmara através da aquisição de imagens do gráfico de compensação de cores com diferentes configurações de câmara e calculando a diferença de cor média das amostras do gráfico. A última realiza a tarefa de calibração, que consiste em duas etapas: processo de criação de perfil e processo de aplicação do perfil. No processo de criação de perfil, uma imagem do gráfico de compensação de cores é adquirida e é estimada uma relação entre cores capturadas e cores de referência. Essa relação é incorporada num perfil de cor que é aplicado às imagens capturadas nas mesmas condições de luz que as do gráfico durante o processo de aplicação do perfil.O desempenho deste sistema foi avaliado em dois conjuntos de experiências. O primeiro foi realizado em condições de luz conhecidas de cinco temperaturas de cores diferentes e com três dispositivos móveis diferentes, enquanto o segundo conjunto de experiências foi realizado sob condições de luz arbitrárias com os mesmos três dispositivos móveis. O desempenho foi avaliado com base na capacidade do sistema de aproximar as cores capturadas às cores de referência e, ainda, em termos da capacidade do sistema ser adaptado à calibração de imagens de lesões de pele.Os resultados sugerem que o método implementado diminui as diferenças de cores de imagens de lesões da pele, capturadas por diferentes dispositivos em diferentes ambientes. Para terminar esta dissertação, os resultados obtidos, bem como algumas considerações sobre possíveis melhorias e desenvolvimentos futuros, como a otimização do algoritmo implementado para reduzir o tempo de computação, são feitas.

Mobile teledermatology (MT) applications have risen as a promising tool to assist healthcare professionals in the diagnosis of skin cancers. These applications rely on the extraction of color features, which are sensitive to both camera and lighting conditions.This thesis introduces the development of a color calibration system targeted at skin lesion images captured with a mobile device. By using a color compensation chart to estimate the relationship between the colors in the image and the respective reference colors, the implemented system reduces the influence of not only the surrounding environment, as well as the one resulting from the camera used for such effect itself. The methodology is based on a phased approach: the pre-acquisition stage and a post-acquisition stage. The former determines the optimal camera settings for image capture by acquiring images of the color compensation chart with different camera settings and calculating the average color difference of the patches; the latter accomplishes the calibration task itself which consists of two steps: the profile creation process and the profile application process. In the profile creation process an image of the color compensation chart is acquired, and a relationship between the captured colors and reference colors is estimated. This estimation is embedded in a color profile which is applied to images captured under the same light conditions as those of the chart during the profile application process. The performance of this system was evaluated in two sets of experiments. The first set was performed under known light conditions of five different color temperatures and with three different mobile devices, whereas the second set of experiments took place under arbitrary light conditions with the same mobile devices. The performance was evaluated based on the system's ability to approximate captured colors to the reference colors and was also evaluated in its adaptability to calibrate skin lesion images. The results obtained suggest that the implemented method can decrease the color differences of skin lesion images captured by different devices under different environments. The conclusions achieved as well as some considerations on possible improvements and potential future developments - such as the optimization of the implemented algorithm in order to reduce the computation time - close this thesis dissertation.