Accelerating fault injection campaigns using failure models

Abstract

Os sistemas informáticos estão a tornar-se cada vez mais complexos e a ser usados para variadas tarefas, sendo algumas delas consideradas críticas. Para um fornecimento fiável do serviço, o sistema deve conseguir evitar ou tolerar avarias que possam ocorrer durante a sua execução. Injeção de falhas é uma técnica baseada em experiências, usada para a validação de um sistema e dos seus mecanismos de tratamento de falhas. As campanhas de injeção de falhas podem durar vários meses e deve-se ter cuidado durante o seu planeamento de modo a que não produza resultados não fiáveis. Assim, é importante a melhoria da eficiência de injeção de falhas através de abordagens que tenham o objetivo de acelerar as experiências sem a perda de representatividade.O objetivo desta dissertação é a aceleração de campanhas de injeção de falhas. Para esse propósito, desenvolvemos uma técnica para a injeção de modelos de avarias de maneira a acelerar a validação de um sistema. Um modelo de avaria é o resultado de uma falha como um crash ou hang que pode afetar o sistema. Para validar a técnica, efetuamos experiências num sistema virtualizado para comparar a nossa abordagem com a injeção de falhas tradicional.Começamos por realizar um estudo acerca do estado da arte da confiabilidade e da injeção de falhas para se perceber algumas abordagens e também para apoiar as escolhas efetuadas na implementação da nossa técnica. Realizamos 1739 experiências ao longo de três meses e os resultados obtidos a partir da nossa validação mostrou que a injeção de crashes no hypervisor pode substituir a injeção de falhas de hardware quando temos como objetivo estudar certas métricas, produzindo resultados de avarias aproximadamente 3x mais rapido. A injeção de hangs pode também ser uma alternativa à injeção de falhas de hardware quando queremos estudar a latência da manifestação da avaria. Assim a injeção de avarias pode ser uma abordagem eficiente quando o objetivo é avaliar um mecanismo de tolerância de falhas no entanto não é uma boa alternativa quando se quer avaliar a confiabilidade de um sistema ou para desenhar mecanismos de previsão de avarias.

Computer systems are becoming increasingly complex and being used for various tasks, some of which are critical. For a trustable service delivery, the system must be able to avoid or tolerate failures that may occur during its execution. Fault injection is an experimental technique for the validation of a system and its fault-handling mechanisms.Campaigns involving fi may last months, and care must be taken during their planning in order not to produce unreliable results. Thus, improving fault injection efficiency through approaches that aim to accelerate the experiments without losing representativeness is important.The goal of this dissertation is the acceleration of fault injection campaigns. For that purpose, we developed a technique for injecting failure models. Failure models are the outcome of a fault like a crash or hang that can affect a system. To validate the technique, we performed experiments in a virtualized setup in order to compare our injection technique with traditional fi. We started by studying the state of the art of dependability and fi to understand the approaches used for fi acceleration and support our choices and help us define our technique. We performed 1739 experiments over three months, and the results obtained from our validation show that the injection of crash failures in the hypervisor can replace hardware fi when we aim to analyze specific metrics, producing failure results almost 3x faster. The hang failure injection is also a valid alternative to hardware fi when we want to study the manifestation latency. The results show that injecting failurescan be an effective approach to evaluate the performance of faulttolerance mechanisms, however it is not a good alternative forevaluating the dependability of a system or for designing failure prediction mechanisms