Quando si discute di valore probante di uno studio clinico agli effetti di una linea guida non si può trascurare di valutare quanto i risultati dello studio possono essere spostati rispetto alla realtà dei fatti.
Uno scostamento dei risultati osservati dai risultati "veri" può essere dovuto a diversi fattori, primo fra tutti il fatto che il campione studiato in realtà rappresenta solo una parte della popolazione reale (p.e. a causa di criteri di inclusione e di esclusione peraltro spesso indispensabili a garantire la necessaria sicurezza ai partecipanti allo studio).
Una deviazione sistematica dei risultati osservati dal risultato "vero" si definisce "bias". Di solito il bias tende a deviare, in maniera quasi sempre non voluta, i risultati osservati verso esiti maggiormente favorevoli all'intervento in esame rispetto all'esito vero. Il bias si può manifestare in molti modi: all'arruolamento (p.e. un clinico conservatore assegnerà i casi tendenzialmente più gravi al trattamento di riferimento mentre uno "progressista" li assegnerà al trattamento nuovo); durante la conduzione dello studio (p.e. gestendo in maniera differente i soggetti assegnati all'uno o all'altro trattamento); e alla valutazione dei risultati (p.e. valutando sistematicamente in maniera più favorevole i risultati ottenuti con l'uno o con l'altro trattamento). Questi bias possono essere contenuti utilizzando le normali tecniche di randomizzazione (assegnazione del trattamento su base casuale) e di cecità (evitando che chi assegna il trattamento e chi ne valuta i risultati sia a conoscenza dell'effettivo trattamento assegnato al singolo paziente). Anche in questo caso le procedure di randomizzazione e di cecità devono essere tali da impedire di fatto, e non solo formalmente, la conoscenza del trattamento assegnato. Pertanto la valutazione di queste tecniche non si limita a verificare che siano scritte, ma entra nel dettaglio della valutazione di come sono state applicate e quindi se siano da considerarsi valide o meno. Uno studio per il quale non si potesse stimare se le tecniche di randomizzazione e cecità erano valide, è stato considerato come biased (cioè affetto da errore sistematico) in queste linee guida.
Tuttavia bisogna considerare un'altra fonte di potenziale errore sistematico, costituita dal campione esaminato rispetto al campione arruolato. È infatti raro che tutti i soggetti arruolati nello studio giungano alla fine dello stesso. I casi di interruzione dell'osservazione possono quindi essere una fonte importante di bias, specie se costituiscono una proporzione importante (>5%) del campione arruolato. Infatti, in tal caso non è detto che i soggetti che completano lo studio rappresentino la stessa popolazione rispetto ai soggetti che erano stati arruolati, per cui le conclusioni non sono più applicabili a tale popolazione nonostante i soggetti arruolati fossero rappresentativi. Inoltre, bisogna considerare che se una certa proporzione di soggetti abbandona lo studio, è presumibile che una simile (ma di solito maggiore) proporzione di soggetti abbandonerà il trattamento nella realtà clinica. Quindi la stima dell'effetto di una procedura deve tenere conto di questo fenomeno. Ciò si ottiene con l'analisi dei dati ITT (intention-to-treat).
Indipendentemente dalla definizione data a questa procedura, il principio è semplice: i risultati devono dare conto di tutti i soggetti arruolati che non abbiano fisicamente rifiutato il trattamento prima della prima dose, ovvero, N soggetti hanno almeno teoricamente iniziato il trattamento, N risultati devono essere valutati. Naturalmente per i soggetti che non hanno concluso l'osservazione andranno fissate (pre-fissate, ovvero definite prima dell'inizio dello studio) regole precise per determinare l'esito. Le regole più sicure sono quelle conservative (o worst-case) secondo le quali i soggetti che non terminano lo studio sono per definizione classificati come fallimento oppure sono assegnati al risultato peggiore osservato tra tutti quelli che hanno concluso lo studio. Con questo principio si evita di favorire indebitamente il trattamento in esame rispetto al trattamento di riferimento. Naturalmente si possono condurre analisi di sensibilità per diverse regole di assegnazione, valutando eventuali discrepanze sul piano del valore clinico, ma le analisi di sensibilità hanno rilevanza solo dopo che l'analisi worst-case ha confermato che un effetto esiste.
Il bias però non è la sola fonte di scostamento tra risultato vero e risultato osservato. Possono esistere altri fattori, definiti come "fattori di confusione", che hanno lo stesso effetto. I fattori di confusione sono variabili non considerate nello studio, che influenzano variabili che sono invece considerate nello studio. Non essendo considerati, i fattori di confusione possono esercitare un'influenza non quantificabile che sfugge all'osservazione. Non esistono tecniche semplici per evitare l'effetto di fattori di confusione. Certamente, la migliore risposta a questo rischio è data da una stima adeguata della numerosità campionaria e dalla randomizzazione e cecità, tale per cui eventuali deviazioni attribuibili a potenziali fattori di confusione siano uniformemente distribuite sui due o più gruppi esaminati. D'altra parte, esistono anche fattori di confusione prevedibili (p.es. età, sesso, eziopatogenesi della patologia considerata, scolarità in certi casi ...) che quindi possono essere registrati e per i quali è possibile apportare una correzione in sede di analisi. Pertanto, in sede di pianificazione dello studio deve essere condotta un'accurata valutazione dei potenziali fattori di confusione noti o presumibili, così da registrarli e successivamente tenerne conto in analisi multivariate o analisi di sensibilità dei risultati. Resta il fatto che se il campione è di dimensioni adeguate ed adeguatamente randomizzato l'influenza dei fattori di confusione è marginale rispetto ai bias discussi in precedenza.
Esistono poi situazioni in cui fattori di confusione distribuiti in maniera asimmetrica nella popolazione possono esercitare un peso rilevante sui risultati (p.es. una condizione presente in una piccola frazione della popolazione che però modifica completamente la risposta a un certo trattamento). In tal caso è preferibile ricorrere a tecniche di stratificazione del campione, così che i vari strati siano tutti adeguatamente rappresentati e si possa stimare la risposta al trattamento della popolazione dopo correzione per l'effetto del fattore. Anche questo approccio può, tuttavia, condurre a un errore sistematico. Infatti la stratificazione permette una stima più accurata dell'effetto del trattamento tramite analisi multivariata con il fattore di confusione, ma di per sé non permette di valutare l'effetto del fattore di confusione. Per potere stimare allo stesso tempo anche la correlazione tra livello del fattore di confusione ed esito clinico considerato, bisogna considerare questo come endpoint separato dello studio, e quindi aumentare conformemente la numerosità campionaria, allo stesso modo di un'analisi per sottogruppi (vedi anche 2.3).
In queste linee guida si è attribuito maggiore livello di evidenza agli studi per i quali erano chiaramente indicate e valutabili come valide le misure prese per la riduzione del bias e per considerare di limitata rilevanza l'impatto di potenziali fattori di confusione.