Ricerca sull’audit & feedback: è tempo di progredire
Luciana Ballini
Editor di Effective practice and Organization of Care (EPOC); Agenzia Sanitaria e Sociale Regionale e Azienda USL di Reggio Emilia, Regione Emilia-Romagna

Riassunto. La raccolta di dati sulla pratica clinica, il loro raffronto con standard o obiettivi pre-stabiliti e il ritorno ai professionisti dei risultati del confronto costituiscono uno degli interventi per il miglioramento della qualità assistenziale più frequentemente utilizzato e valutato: l’audit & feedback (A&F).
In questo articolo si espone una breve analisi delle revisioni sistematiche che hanno finora valutato gli studi sull’efficacia di interventi di audit & feedback e si illustra la proposta, emersa da un workshop di ricercatori del gruppo Epoc (Effective practice and organization of care - Cochrane collaboration), sulle linee di indirizzo da seguire per lo sviluppo futuro di interventi di A&F e sui temi prioritari da affrontare per ottimizzare l’efficacia di interventi di A&F.
Parole chiave. Audit & feedback, qualità delle cure, analisi dei dati.


Abstract. Data collection on clinical practice together with feedback of comparisons between individual performance and desired targets or standards represents one of the most frequently and assessed interventions for quality of care improvement: audit & feedback (A&F). This paper provides a brief summary of the systematic reviews that have assessed A&F effectiveness as well as an account of the ongoing debate among A&F experts and researchers from the Epoc (Effective practice and organization of care - Cochrane collaboration) group, resulting in recommendations for future research in A&F, aimed at refining the intervention and optimizing its effectiveness.
Key words. Audit & feedback, data analysis, quality of care.

La disponibilità di una sempre più ampia gamma di dati amministrativi sanitari ne consente e incoraggia un molteplice utilizzo. Quando si dibattono decisioni di politiche sanitarie, il ricorso ai dati per supportare le proprie posizioni è sempre più frequente. Nella recente decisione in Gran Bretagna di modificare l’offerta assistenziale durante il fine settimana, con conseguente revisione dei contratti di medici e professionisti, le diverse parti si confrontano presentando o contestando analisi sui dati che documentano un maggiore rischio di mortalità per i pazienti che si rivolgono alle strutture sanitarie durante il fine settimana (Godlee, 2016). Un recente studio italiano allerta sulle implicazioni che le politiche del lavoro a favore di una maggiore flessibilità possono avere sulla salute. Da un’analisi sui dati amministrativi raccolti in quattro anni viene riscontrato un aumento significativo di prescrizioni e consumo di farmaci psicotropi nei lavoratori precari (Moscone et al, 2016). Anche per il recente rinnovo in Italia della convenzione dei medici di famiglia, e la conseguente riorganizzazione del servizio di guardia medica, si è in attesa di dati sulla qualità e variabilità della continuità assistenziale del territorio.
Sempre maggiore rilevanza sta acquisendo il Programma nazionale esisti (Pne) – attività istituzionale svolta da Agenas su mandato del Ministero della salute – che elabora dati dai flussi informativi al fine di fornire stime utili a valutare “l’efficacia, la sicurezza e la qualità delle cure prodotte nell’ambito del Servizio sanitario nazionale”. Attraverso queste elaborazioni e analisi, le Regioni, le Aziende sanitarie e i professionisti possono disporre di strumenti a supporto di programmi di audit clinico e organizzativo per il miglioramento continuo della qualità dell’assistenza. Il programma mette infatti a disposizione un’area dedicata al monitoraggio degli indicatori inclusi nel regolamento degli standard ospedalieri, consentendo a ciascuna struttura di verificare il rispetto delle soglie attese, e fornisce corsi di formazione per la corretta lettura e interpretazione dei dati.
La raccolta di dati sulla pratica clinica, il loro raffronto con standard o obiettivi pre-stabiliti e il ritorno ai professionisti dei risultati del confronto costituiscono uno degli interventi per il miglioramento della qualità assistenziale più frequentemente utilizzato e valutato: l’audit & feedback (A&F). Lo scopo è quello di incoraggiare i singoli professionisti a perseguire standard professionali condivisi, mentre il razionale consiste nel supplire alla limitata abilità degli individui ad autovalutare accuratamente il proprio operato e nel capitalizzare lo stimolo al cambiamento innescato dalla consapevolezza della discrepanza tra il proprio operato e lo standard desiderato.
Le revisioni sistematiche sull’efficacia di audit & feedback
La più recente revisione sistematica sull’efficacia dell’audit & feedback pubblicata nel 2012 da ricercatori del gruppo Epoc (Effective practice and organization of care - Cochrane collaboration) ha incluso e analizzato 140 studi randomizzati e controllati sull’efficacia dell’A&F nel cambiare e migliorare la pratica clinica. La maggior parte degli studi ha misurato l’efficacia dell’intervento sul comportamento dei medici in svariati settori assistenziali di diversa complessità, dalla prescrizione di esami di laboratorio alla gestione di malattie croniche quali lo scompenso cardiaco o il diabete. I risultati della metanalisi riportano un aumento mediano dell’adesione alla pratica clinica raccomandata del 4,3%, con un range interquartile tra 0,5% e 16%. La conclusione è che l’intervento ‘funziona’, dimostrando un impatto moderato ma potenzialmente rilevante. Tuttavia circa un quarto degli interventi di A&F ha un effetto positivo relativamente importante (superando la soglia minima di impatto del 10%, considerata significativa a livello di popolazione per gli studi di miglioramento della qualità assistenziale), mentre un altro quarto ha un effetto nullo o addirittura negativo.
La revisione sistematica del 2012 è il terzo aggiornamento di un lavoro iniziato agli inizi degli anni 2000 su una ricerca che ha cominciato a svilupparsi negli anni ’80. I revisori hanno quindi deciso che fosse arrivato il momento di tirare le somme, fornire un resoconto cumulativo di tutto il lavoro e sviluppare proposte per capitalizzare la conoscenza acquisita e incoraggiarne la progressione. Da allora si sono dedicati a rianalisi e sottoanalisi delle tre revisioni sistematiche finalizzate allo studio e comprensione della variabilità dell’efficacia di questo intervento, che rimane una delle più ‘popolari’ strategie di implementazione di raccomandazioni per la pratica clinica.
La ri-analisi quantitativa e la sotto-analisi qualitativa
Attraverso una metaregressione degli studi pubblicati a partire dal 1984 e analizzati nelle tre revisioni, una ri-analisi quantitativa ha innanzitutto evidenziato che la crescente quantità di studi non ha modificato le conclusioni sulla magnitudine e direzione dell’effetto né sulla sua variabilità. In altre parole al crescente numero di trial non corrisponde una maggiore conoscenza del fenomeno. Poiché l’A&F è un intervento che, ancorché riconducibile ad un unico principio generale, è stato declinato e realizzato in maniera eterogenea, l’analisi ha cercato di investigare la presenza di possibili modificatori di effetto dell’intervento, misurando l’influenza di una serie di variabili: formato (verbale - scritto - entrambi), fonte (supervisore - collega - ricercatore - rappresentante dell’amministrazione) e frequenza ( singolo episodio - settimanale - mensile ) del feedback; disponibilità di istruzioni per il miglioramento (nessuna indicazione - obiettivo misurabile esplicito - suggerimenti per un piano di azione - obiettivo esplicito e piano di azione); direzione del cambiamento atteso nel comportamento (incremento - riduzione - entrambi) ; performance di partenza (bassa - media - alta); professione del destinatario (medico - altra professione sanitaria).
Attraverso una seconda sottoanalisi di tipo qualitativo, i ricercatori hanno indagato l’entità dell’utilizzo di teorie o costrutti teorici nel disegno e conduzione degli studi per valutare l’efficacia dell’A&F. L’assunto è che una migliore comprensione ed esplicitazione del meccanismo causale, che sottende la presunta efficacia dell’A&F, possa contribuire a spiegarne la variabilità di effetto e, conseguentemente, a migliorarne la realizzazione e messa in pratica. Secondo il modello proposto e raccomandato dal Medical research council, nella valutazione degli interventi complessi ricoprono un ruolo rilevante la fase dell’esplicitazione della base teorica di un intervento, dove si ipotizza la capacità dell’intervento di produrre determinati esiti, e la fase della modellizzazione, che dettaglia i meccanismi di azione dell’intervento. Le teorie infatti permettono di fornire una descrizione accurata dell’intervento e delle sue componenti, di dettagliare i fenomeni osservati proponendone un’interpretazione sistematica, di sviluppare ipotesi testabili attraverso studi ad hoc.
L’analisi sull’utilizzo delle teorie ha rilevato che solamente il 14% degli studi inclusi nella revisione sistematica (20/140) riporta l’uso di una teoria in una qualsiasi fase dello studio e solo in 13 studi gli autori riportano di aver utilizzato una teoria per disegnare l’intervento. Un totale di 18 teorie vengono menzionate (educative, cognitive, psicologiche, organizzative, comportamentali, economiche, etc), ma il loro esplicito utilizzo per il disegno dello studio è risultato piuttosto raro. La maggior parte degli interventi di A&F valutati negli studi sono pertanto sviluppati senza incorporare i risultati della ricerca precedente né capitalizzare il bagaglio teorico esistente.
Un workshop per capire quando un intervento di A&F è efficace
Data l’elevata probabilità che l’A&F continui ad essere utilizzato in programmi di miglioramento della pratica clinica, il gruppo di ricercatori ha ritenuto necessari ulteriori sforzi per comprendere come, quando e perché l’intervento possa risultare altamente efficace, riunendo in un workshop un gruppo internazionale di ricercatori provenienti da diverse discipline ed esperti sia di teorie che di studi e revisioni sistematiche sull’efficacia dell’A&F. Lo scopo del workshop era sviluppare linee di indirizzo per lo sviluppo futuro di interventi di A&F e identificare temi prioritari per la ricerca. Il risultato di questo notevole impegno da parte dei revisori di Epoc, decisi a non circoscrivere il loro lavoro al solo resoconto della ricerca passata e ad utilizzare le conoscenze acquisite per orientare la ricerca futura, è riassunto in un recente articolo (Brehaut et al, 2016) che riporta una serie di suggerimenti per ottimizzare l’efficacia di interventi di A&F. I suggerimenti – termine adottato per sottolineare lo stadio ancora poco avanzato della conoscenza sugli specifici meccanismi causali dell’efficacia dell’intervento – riguardano la tipologia di azione o cambiamento richiesto dall’intervento; la tipologia di dati presentati e la modalità di presentazione dei dati; la modalità di realizzazione dell’intervento.
Le azioni e i cambiamenti attesi
La maggior parte dei suggerimenti riguardanti le azioni attese non sono supportati da dati empirici, ma derivano da costrutti teorici. Le azioni da intraprendere dovrebbero essere coerenti con obiettivi precisi e priorità riconosciute. Più sono esplicite, specifiche, legate a scadenze temporali, stimolanti ma raggiungibili, più è probabile che riescano a conquistarsi il coinvolgimento dei destinatari e il loro proposito di cambiamento, che – secondo le teorie comportamentali – rimane il principale predittore del comportamento. Le azioni dovrebbero essere ben circostanziate, dovrebbero riguardare situazioni con un ampio margine di miglioramento, come supportato dai dati empirici della meta-regressione, e rientrare nella sfera di controllo dei destinatari, come suggerito dalle teorie sulla self-efficacy. Ad esempio, fornire informazioni che suggeriscono azioni manageriali o su larga scala non potranno sortire alcun effetto sul singolo professionista, mentre di maggiore successo sono le azioni che riguardano pratiche specifiche su tipologie di pazienti ben individuabili.
Dati e feedback
L’analisi quantitativa sui modificatori di effetto ha evidenziato che l’A&F tende ad essere maggiormente efficace se i dati raccolti sono presentati sia in forma verbale che scritta, a intervalli temporali regolari – ma giustificati dalla disponibilità di aggiornamenti rilevanti – e non troppo distanziati dal periodo di raccolta delle informazioni, per evitare il rischio che vengano ignorati o scartati come irrilevanti. Tuttavia non si è in grado di stabilire né la frequenza né l’intervallo temporale ottimali. Sull’efficacia di dati generali piuttosto che individuali non vi sono evidenze empiriche e le teorie propongono costrutti diversi, anche contraddittori. Alcune teorie suggeriscono che le informazioni personalizzate conducono ad una maggiore recettività, mentre altre mettono in guardia sulla possibilità che generino un rifiuto o interpretazioni alternative all’eventuale discrepanza riscontrata (teorie della dissonanza cognitiva). Comunque sia, i dati dovrebbero essere accompagnati da un valido e riconosciuto termine di confronto o paragone, affinché la necessità di migliorare sia oggettivamente esplicitata. L’utilizzo di un comparatore è infatti la caratteristica che maggiormente distingue l’A&F dagli altri interventi di trasferimento dell’informazione che mirano ad allineare la pratica clinica con la best practice raccomandata.
Realizzazione dell’intervento
Sia la revisione sistematica del 2012 che la susseguente meta-regressione delle tre revisioni hanno evidenziato che l’efficacia dell’intervento è positivamente rinforzata quando il feedback è presentato da supervisori o colleghi stimati, mentre la presentazione da parte di ricercatori o amministratori ne diminuisce l’effetto. La credibilità della fonte informativa è importante quanto quella dei dati raccolti e del termine di paragone proposto. Nel presentare i dati occorre porre particolare attenzione a che non si verifichino reazioni difensive, che diminuiscono l’efficacia del feedback. Mentre le teorie suggeriscono di evitare messaggi esageratamente negativi o ‘punitivi’, non vi è accordo sull’opportunità di alternare messaggi ‘negativi’ a messaggi ‘positivi’ o di rinforzo. L’ultimo suggerimento riguarda la costruzione di un sistema di feedback basato sull’interazione sociale, che favorisca l’interpretazione delle eventuali discrepanze tra dati di performance e comparatore, la condivisione delle azioni correttive necessarie e le modalità per attuarle. Le teorie sulle comunità di pratica supportano questo suggerimento, evidenziando come le reti sociali e professionali di individui che condividono un obiettivo comune e interagiscono regolarmente su temi specifici migliorino sostanzialmente le proprie capacità di apprendimento e di azione. Al contrario l’attività in isolamento è un riconosciuto predittore di scarsa prestazione.
Conclusioni
Come indicato dagli autori stessi, questi suggerimenti – frutto di analisi empiriche e di disamina di teorie rilevanti – hanno lo scopo di orientare i ricercatori che intendono intraprendere studi sull’A&F ad evitare di replicare risultati già consolidati negli anni. Dopo quasi vent’anni di ricerca e tre revisioni sistematiche, continuare a disegnare studi di A&F in cui il feedback è presentato una tantum e dai conduttori dello studio, piuttosto che da supervisori, rappresenta un evidente spreco di risorse per la ricerca. Continuare a confrontare l’A&F con la standard care è inoltre da considerarsi non etico, dal momento che è ormai dimostrato che l’intervento è efficace mentre permane il problema di come ottimizzarne l’efficacia.
L’invito è quello di intraprendere studi di efficacia comparativa che, attraverso confronti diretti, valutino l’effetto di specifiche e argomentate componenti – derivate dalle associazioni riscontrate fino ad oggi e basate su costrutti teorici – testando le relative ipotesi di causalità. Alcuni modificatori di effetto dell’intervento che meriterebbero di essere indagati sono le caratteristiche del contesto e dei destinatari dell’intervento, il formato dei dati e del feedback, la complessità delle azioni e del cambiamento richiesto, la possibilità di vederne l’effetto a breve termine ed altro ancora. Coerentemente con quanto sostenuto di recente sull’incremento del valore della ricerca, la notevole disponibilità di evidenze empiriche permette ai futuri studi sull’A&F di contribuire al completamento del profilo di efficacia dell’intervento, valutando anche l’efficacia dell’intervento in contesti fino ad oggi poco studiati, come l’assistenza territoriale o domiciliare.
L’A&F è un intervento spesso utilizzato in programmi di miglioramento di qualità con risorse limitate per la realizzazione di studi controllati e randomizzati. Pur riconoscendo questa tensione tra ricerca e azione, gli autori invitano la comunità di riferimento a capitalizzare sull’opportunità di poter simultaneamente contribuire alla ricerca sulla implementazione mentre si realizzano programmi di miglioramento della qualità.
La disponibilità di dati amministrativi a cui associare interventi di feedback costituisce infatti un’opportunità per integrare la ricerca all’interno di iniziative istituzionali. Dagli incontri di budget nelle Aziende sanitarie al Programma nazionale esiti vi è ampia disponibilità di contesti istituzionali che gli autori dell’articolo definiscono potenziali laboratori di ricerca per la sperimentazione delle diverse e multiple componenti dell’A&F.
Bibliografia
Brehaut JC, Colquhoun HL, Eva KW et al (2016), Practice feedback interventions: 15 suggestions for optimizing effectiveness, Ann Intern Med, 164 (6): 438-441.
Godlee F (2016), The ‘weekend effect’, BMJ, 353: i2801.
Moscone F, Tosetti E, Vittadini G (2016), The impact of precarious employment on mental health: the case of Italy, Social Science & Medicine, 158: 86-95.