Si discute spesso dell'importanza dell'eterogeneità nelle metanalisi, perché una elevata eterogeneità fra studi diminuisce il valore delle metanalisi come guida alla pratica clinica.
In primo luogo bisogna distinguere l'eterogeneità clinica dall'eterogeneità statistica.
L'eterogeneità clinica si riferisce al fatto che gli studi clinici sono stati condotti in maniera diversa e non assimilabile tra loro, quindi sui diversi studi potrebbero avere agito influenze casuali e/o sistematiche diverse. Dal punto di vista puramente statistico ciò è un vantaggio perché, aumentando la variabilità, rende più probanti (statisticamente) eventuali risultati "statisticamente significativi". Tuttavia potrebbe anche costituire uno svantaggio in termini clinici, perché parte dei risultati ottenuti potrebbero non essere applicabili in un determinato contesto (nel caso di queste linee guida, alla popolazione italiana residente e trattata nell'ambito del sistema sanitario e delle strutture cliniche italiane). Se esiste una eterogeneità clinica, l'unico approccio di rilievo è la valutazione di scenari diversi in funzione di diversi parametri di riferimento (analisi di sensibilità). Se l'analisi di sensibilità porta comunque agli stessi risultati, allora l'eterogeneità clinica non costituisce problema, altrimenti è preferibile affinare la metanalisi dopo avere definito con la massima precisione possibile quali sono i parametri di riferimento coerenti con la situazione specifica che si vuole esaminare.
L'eterogeneità statistica stima invece quanto è probabile che i risultati siano distribuiti in maniera omogenea o meno nei diversi studi, e dipende sia dai risultati dei singoli studi, sia dalla loro dimensione (o da altri fattori che ne determinano il "peso"), sia dall'effetto medio osservato. In questo modo è possibile stimare quanto è probabile che la distribuzione osservata dei risultati possa essere osservata per puro effetto del caso (comunemente stimata con il test Q di Cochran). Una eterogeneità statisticamente significativa può – ma non necessariamente – indicare un errore sistematico o in alcuni studi o nella selezione degli studi. Tuttavia il test Q indica solo se si deve respingere o no l'ipotesi di omogeneità fra studi, ma non ne stima l'entità. Recentemente si è iniziato a utilizzare a questo scopo l'indice I2, che misura la dimensione della eterogeneità vera e può essere interpretato come la percentuale della variabilità totale dell'effetto calcolato nella metanalisi, da attribuirsi alla eterogeneità fra studi. Chiaramente, un effetto gravato da elevata eterogeneità (nell'ordine del 70%~75%) va considerato con maggiore cautela rispetto ad un effetto gravato da minore eterogeneità (nell'ordine del 20%~30%), indipendentemente dalla capacità del test Q di osservare la "significatività statistica" della stessa eterogeneità. Naturalmente, come tutti i risultati statistici, l'indice I2 è davvero informativo se accompagnato dal suo intervallo di confidenza al 95%, che permette di valutare anche l'accuratezza della stima di eterogeneità.
Quindi i risultati delle metanalisi hanno maggiore o minore valore probante per il trasferimento nella pratica non solo in funzione dell'entità dell'effetto osservato (sempre considerando il relativo intervallo di confidenza) ma anche in funzione della eventuale eterogeneità clinica (valutandone l'impatto rispetto all'utilizzo dei risultati nella popolazione e nel sistema sanitario bersaglio) e della eterogeneità statistica considerata in primo luogo come dimensione dell'eterogeneità vera (I2±IC95) e poi anche come significatività.
Esaminando, p.e., la metanalisi di confronto tra endoarteriectomia e stent nell'ictus (Stroke 2005; 36: 905-911; l'articolo riporta i dati del chi quadrato; lo I2 è stato calcolato dai dati presentati nelle tabelle) si osserva: per l'esito "morte o ictus entro 30 giorni" una eterogeneità statistica significativa (P=0,035) ma un eterogeneità vera non rilevante (I2 61,4%) che, tuttavia, presenta un intervallo di confidenza di tale ampiezza (IC95 0%-85,5%) da suggerire estrema cautela nell'interpretazione dell'analisi; per l'esito "morte o ictus a 1 anno", una eterogeneità statistica significative (P=0,016) e una eterogeneità vera ugualmente elevata (I2 75,9%; IC95 21%-93%). Sulla base di questi risultati si evidenzia la necessità di studi clinici comparativi meglio progettati o più standardizzati per ridurre l'eterogeneità che riduce il valore della metanalisi. Inoltre, dato che gli studi considerati sono eterogenei, continueranno a contribuire alla dispersione della stima delle nuove metanalisi, i nuovi studi dovranno essere o di dimensioni decisamente maggiori (peso maggiore nella metanalisi) o in numero consistente.