Efficiency evaluation with a DEA-MCDA method with incorporation of preferences and data uncertainty

Abstract

Data Envelopment Analysis (DEA) is a nonparametric approach based on linear programming for measuring the relative efficiency of a set of Decision Making Units (DMUs). Each DMU uses a set of inputs to produce a set of outputs, which in general are incommensurate. The mathematical structure of classical DEA models allows flexibility in the choice of inputs and outputs weights, in a way that each DMU can be seen under the “best possible light”. The different DEA models seek to determine which of the DMUs form the efficient frontier (or envelopment surface) in the Pareto- Koopmans sense. The main objective of this thesis is to provide an alternative approach to incorporate the Decision Maker´s (DM) preferences in DEA assessments. For this purpose we propose a two-phase method, which explores links between DEA and Multiple Criteria Decision Analysis (MCDA). This novel perspective uses the additive DEA model in order to overcome some of its shortcomings by applying concepts from multiattribute utility models with imprecise information. The underlying idea is to convert input and output factors into utility functions according to the preference information provided by DMs. After that, the (marginal) utility functions are aggregated using a weighted sum (additive model of Multiple Attribute Utility Theory) and each DMU is free to choose the weights associated with these functions that minimize the difference of utility to the best DMU. The resulting additive DEA model with oriented projections has a clear rationale for its efficiency measures, “min-max regret” (loss of utility), and allows meaningful introduction of constraints on factor weights. This approach helps in the interpretation of results and the setting of objective and realistic targets, thus increasing the DM´s confidence in the methodology. In this thesis, besides focussing on how to capture and include the DM´s preferences in the two-phase method, we also adapt this approach to include the concept of superefficiency for computing the range of efficiency for each DMU in presence of interval values for the DMU performances in each factor. This allows performing a robustness analysis of the conclusions in face of uncertain information. This approach was applied to measure the efficiency of 12 health centres of Primary Health Care and to provide a benchmarking study for one of the activities performed by EDP Distribuição (an electricity distribution company), both of them with intervention of DMs. The two real case studies show that these models can help DMs in the design of opportunities for improvement, introduction of corrective measures and inform about future goals, as well as provide robust conclusions in the presence of uncertainty.

A Data Envelopment Analysis (DEA) é uma abordagem não paramétrica, baseada em programação linear, para avaliar a eficiência relativa de um conjunto de unidades organizacionais (Decision Making Units – DMUs) caracterizadas pelo “consumo” de múltiplos inputs para a “produção” de múltiplos outputs, em geral não comensuráveis. A estrutura matemática dos modelos clássicos DEA permite flexibilidade na escolha dos coeficientes de ponderação dos inputs e outputs, de modo que cada DMU possa ser vista da forma mais favorável. Os diferentes modelos DEA procuram determinar quais são as DMUs que formam a fronteira eficiente (ou superfície envolvente) no sentido de Pareto-Koopmans. O objetivo principal desta tese é apresentar uma abordagem alternativa para incorporar as preferências do Decisor nas avaliações usando modelos DEA. Para isso, propomos um método de duas fases, que explora as ligações entre DEA e Análise de Decisão Multicritério (MCDA). Esta nova perspetiva usa uma variante do modelo DEA aditivo, a fim de superar algumas das suas desvantagens, recorrendo a conceitos de modelos de utilidade multiatributo com informação imprecisa. A ideia subjacente é a de converter os fatores de input e output em funções de utilidade (marginais), lineares ou não, de acordo com a informação de preferências proveniente dos Decisores. Posteriormente, as funções de utilidade são agregadas usando uma soma ponderada (modelo aditivo de Teoria de Utilidade Multiatributo), sendo cada DMU livre de escolher os pesos associados a essas funções que minimizam a diferença de utilidade para a melhor DMU. No método de duas fases a medida de eficiência atribuída a cada DMU tem um significado intuitivo, correspondendo a uma medida "min-max regret" (perda de utilidade), e permite a introdução de restrições com valor representativo sobre os pesos dos fatores. Esta abordagem é particularmente útil na interpretação dos resultados e definição de objetivos e metas realistas, aumentando a confiança do Decisor na metodologia e nos resultados obtidos. Para além desta abordagem facilitar captar e incluir preferências do Decisor no método de duas fases desenvolvido, usamos também o conceito de super-eficiência no sentido de calcular um intervalo de eficiência para cada DMU na presença de intervalos de valores para as performances das DMU em cada factor. Desta forma é possível realizar uma análise de robustez das conclusões assumindo a incerteza dos dados. A metodologia foi aplicada na avaliação de eficiência de 12 unidades de cuidados de saúde primários e num estudo de benchmarking para uma das atividades da EDP Distribuição, ambos com a intervenção de Decisores. Estes dois casos reais mostram que as abordagens propostas podem ajudar os Decisores na identificação de oportunidades de melhoria, introdução de medidas corretivas e na informação de metas futuras, bem como proporcionar conclusões robustas na presença de incerteza.