Reinforcement Learning for Radiotherapy Treatment Planning Optimization

Abstract

Cancer represents a worldwide health issue that impacts millions of people annually, with several individuals undergoing radiotherapy as a potential therapeutic option within the range of available treatments for this disease. Work is constantly being developed in radiotherapy treatment planning to further enhance the treatment quality by accurately increasing the radiation delivered to the tumor and decreasing radiation in the surrounding tissues. Treatment planning plays a crucial part in radiotherapy. It allows the creation of an individualized treatment that takes into account the characteristics of the tumor, the surrounding healthy tissues and the patient's general health. It is a complex procedure that involves choosing radiation angles or arcs and intensities and therefore demands a thorough analysis, usually made by a treatment planner. The fact that planning is usually done manually through a trial-and-error procedure, resorting to a treatment planning system, can influence the accuracy of the treatment. Optimizing this procedure is a possible solution to tackle this issue. Incorporating artificial intelligence in treatment planning can potentially improve the automation of treatment planning, enabling the consistent creation of high quality treatment plans and releasing the planner for other important tasks such as quality assurance. The focus of this dissertation is to use in a combined way optimization and reinforcement learning, an artificial intelligence approach, to achieve feasible treatment plans in a reduced time frame. We chose to use Q-learning in this work, a reinforcement learning method that gathers information from the environment that surrounds it and learns from it. In the first part of this study, considering prostate cancer cases, Q-learning gathered information considering the state of the system as being defined by three structures of interest altogether. The results quickly led to the conclusion that, although the algorithm was able to converge and reach a feasible plan, treatment planning time did not decrease consistently when compared with the use of optimization alone. In the second approach, Q-learning gathered information looking at each structure in particular, which contributed to a faster calculation of treatment plans. The results were far more promising since time reduction was observed. Cross-validation was also used in this second approach, in order to achieve a more robust solution. Using this approach on the data already collected by Q-learning showed the best results of all and represents real potential for further investigation regarding treatment planning.

O cancro é um problema de saúde que todos os anos afeta milhões de pessoas, sendo que muitos doentes são submetidos a tratamentos de radioterapia, um dos possíveis tratamentos para a doença. O desenvolvimento de modelos e métodos para um melhor planeamento de tratamentos de radioterapia, com o objetivo de aumentar a precisão da distribuição da radiação no tumor e diminuir a sua distribuição nos tecidos circundantes, é uma importante e ativa área de investigação. O planeamento radioterapêutico desempenha um papel crucial na radioterapia. Permite criar planos de tratamento individualizados que têm em conta as características do tumor, os tecidos saudáveis circundantes e a saúde global do doente. Trata-se de um processo complexo que envolve escolher os ângulos ou arcos de radiação, bem como a sua intensidade, através de uma análise detalhada do plano de tratamento e correspondente dose depositada nas estruturas de interesse, que é normalmente realizada pelo planeador. O facto do planeamento ser usualmente feito manualmente, com a ajuda de um sistema de planeamento (TPS), através de um procedimento de tentativa e erro, pode influenciar a qualidade final do tratamento. A otimização deste processo, através da automatização da criação do plano de tratamento, pode contribuir para a resolução de algunas dos problemas existentes. A incorporação de Inteligência Artificial potencia a automatização dos planos de tratamento, permitindo a obtenção de planos de tratamento de qualidade consistente, libertando o planeador para outros trabalhos importantes como verificar a qualidade final dos tratamentos. O foco desta dissertação é a utilização combinada de optimização e Reinforcement Learning para a criação automática de planos de tratamento de elevada qualidade num período de tempo reduzido. Optou-se por se trabalhar com Q-learning, testando a abordagem desenvolvida considerando casos de cancro de próstata. Numa primeira fase foram consideradas três estruturas de interesse, tendo sido definidos os possíveis estados do sistema através da análise destas três estruturas como um todo. Os resultados obtidos permitiram concluir que, apesar do algoritmo ser capaz de convergir e alcançar um plano admissível, o tempo necessário à construção do plano de tratamento não diminuia quando comparado com a abordagem que apenas recorre à otimização, sem utilização de Q-learning. Na segunda parte deste estudo, foi desenvolvida uma abordagem alternativa, trabalhando de forma específica com cada estrutura, o que contribuiu para atingir planos de tratamento mais rapidamente. Os resultados obtidos foram significativamente mais promissores, uma vez que a redução temporal foi observada consistentemente. Utilizou-se ainda o método de classificação cruzada nesta segunda abordagem, de modo a alcançar uma solução mais robusta. A utilização desta abordagem nos dados já recolhidos por Q-learning revelou demonstrar os melhores resultados e representa assim potencial para investigações futuras no campo do planeamento de tratamentos.