Técnicas para o aumento do desempenho e da disponibilidade em data warehouses

Abstract

Nesta tese é proposta uma técnica inovadora para resolver o problema da velocidade das pesquisas e da escalabilidade em data warehouses. Partindo do clássico método de particionamento uniforme a baixo nível (factos), propõe-se uma nova técnica que permite distribuir os dados de uma data warehouse por um número arbitrário de computadores, sendo as pesquisas executadas em paralelo e de forma independente em cada um dos computadores, garantindo por isso um aumento de velocidade aproximadamente óptimo. Esta técnica, chamada DWS (Data Warehouse Striping), é especialmente adaptada às data warehouses implementadas sobre repositórios relacionais. Apesar do aumento potencial de velocidade e de escalabilidade que pode ser conseguido usando a técnica DWS, o facto da data warehouse estar distribuída por um elevado número de computadores aumenta fortemente a probabilidade de avaria num ou mais computadores, o que limita grandemente a utilização prática de DWS. Para resolver este problema é proposta uma solução radicalmente diferente da clássica abordagem baseada em tolerância a falhas, recorrendo a técnicas de resposta aproximada às pesquisas. O sistema continua a funcionar mesmo se um dado número de computadores estiver indisponível, sendo devolvida uma resposta aproximada que consiste num valor estimado do resultado final e num intervalo de confiança sobre a precisão do resultado estimado. Os resultados analíticos e experimentais apresentados nesta tese mostram que o erro introduzido nos resultados das pesquisas pode ser realmente muito pequeno. A tese termina mostrando que a técnica DWS pode ser concretizada facilmente pela tecnologia actualmente existente, sendo propostos para o efeito dois cenários distintos de utilização prática: um usando um cluster de computadores dedicados (ideia base) e o outro utilizando os computadores que já existem numa organização. Ambos os cenários são objecto de uma avaliação muito completa, tanto analítica como experimental, usando para o efeito dois conhecidos benchmarks.