Characterization of the Comparisons Established for Pharmacotherapeutic Evaluation in Health Technologies Assessment

Abstract

Objective: Relative effectiveness assessment is a core step of HTA and aims to identify thebenefit of a new healthcare intervention. The procedure is based on an evaluation framework,which defines the candidate population, the comparators used in clinical practice, and theoutcome measures of interest. This study aims to the characterize the evidence supportingthe relative effectiveness assessments of HTA procedures and to assess if there is arelationship between the directness of evidence supporting the relative effectivenessassessments and the identification of added therapeutic value (ATV).Methods: Relative effectiveness assessments produced between 2018 and 2021 by 6European HTA bodies (NICE [England and Wales], SMC [Scotland], HAS [France], AEMPS[Spain], SiNATS [Portugal] and IQWIG [Germany]) were considered for inclusion. Data onthe pharmacological intervention, comparators and data sources was retrieved. MicrosoftExcel® was used to perform descriptive statistics and the qui-square test was applied toexplore a possible relationship between the directness of the evidence (direct or indirect) andthe identification of ATV.Results: Among the 987 relative effectiveness assessment reports analysed, 717 (72.64%)were exclusively supported by direct evidence. Among these, the most used data sourceswere clinical trials (n=706, 98.47%). A total of 270 (27.36%) relative effectiveness assessmentswere informed by indirect evidence. Network meta-analysis (n=111, 41.11%), indirecttreatment comparisons (n=84, 31.11%), and matching adjusted indirect comparisons (n=31,11.48%) were the most used data sources. Of the 717 effectiveness procedures supported bydirect evidence, 515 concluded for ATV and 108 did not recognise therapeutic value. In theside of reports supported by indirect evidence (n=270, 27.36%), 196 concluded ATV and 27concluded no therapeutic value. The chi-square test did not find a relationship between thedirectness of the evidence and identification of ATV, except for IQWIG and SMC reports.Conclusions: Most of the relative effectiveness assessments are informed by direct evidence.Nonetheless, there is a considerable proportion of these procedures that use indirectevidence to identify the therapeutic value of pharmacological interventions. The results, alsosuggest that there is no relationship between the directness of the evidence supporting therelative effectiveness assessment procedures and the identification of ATV.

Objetivo: A avaliação da eficácia relativa é um passo fundamental na Avaliação de Tecnologiasem Saúde (ATS) e tem como objetivo identificar o benefício de uma nova tecnologia de saúde.O procedimento baseia-se em uma avaliação, que define a população-alvo, os comparadoresutilizados na prática clínica e os marcadores de interesse. Este estudo tem como objetivocaracterizar a evidência que apoia as avaliações de eficácia relativa dos procedimentos de ATSe avaliar se há uma relação entre a direção da evidência que sustenta essas avaliações e aidentificação de valor terapêutico adicional (VTA).Métodos: Os parâmetros de inclusão das avaliações de eficácia relativa são estas seremproduzidas entre 2018 e 2021 por 6 organismos europeus de ATS (NICE [Inglaterra e País deGales], SMC [Escócia], HAS [França], AEMPS [Espanha], SiNATS [Portugal] e IQWIG[Alemanha]). Dados sobre a intervenção farmacológica, comparadores e fontes de dadosforam recolhidos. O Microsoft Excel® foi usado para realizar estatísticas descritivas, e o testequi-quadrado foi aplicado para explorar uma possível relação entre a direção da evidência(direta ou indireta) e a identificação de VTA.Resultados: Entre os 987 relatórios de avaliação de eficácia relativa analisados, 717 (72.64%)foram exclusivamente apoiados por evidência direta. Entre esses, as fontes de dados maisutilizadas foram ensaios clínicos (n=706, 98.47%). Um total de 270 (27.36%) avaliações deeficácia relativa foram informadas por evidência indireta. Meta-análise em rede (n=111,41,11%), comparações de tratamento indiretas (n=84, 31.11%) e comparações indiretasajustadas (n=31, 11.48%) foram as fontes de dados mais utilizadas. Dos 717 procedimentos deeficácia apoiados por evidência direta, 515 concluíram por VTA e 108 não reconheceram valorterapêutico. Nos relatórios apoiados por evidência indireta (n=270, 27.36%), 196 concluíramVTA e 27 concluíram ausência de valor terapêutico. O teste qui-quadrado não encontrou umarelação entre a direção da evidência e a identificação de VTA, exceto para a IQWIG e o SMC.Conclusões: A maioria das avaliações de eficácia relativa é apoiada por evidência direta. Noentanto, uma proporção considerável desses procedimentos utiliza evidência indireta paraidentificar o valor terapêutico de intervenções farmacológicas. Os resultados também sugeremque não há uma relação entre a direção da evidência que suporta os procedimentos deavaliação de eficácia relativa e a identificação de VTA.