Se la definizione di significatività statistica è chiara, quella di significatività clinica lo è molto meno.
La significatività statistica (sintetizzata nel valore numerico di "P") indica esclusivamente la probabilità che l'effetto osservato possa essere osservato casualmente nel caso sia vera l'ipotesi zero in base alla quale è stato progettato lo studio. Se il valore calcolato è più piccolo di quello predefinito in sede di progettazione dello studio è lecito respingere l'ipotesi zero. Si noti che in tale definizione non è minimamente vincolante l'ipotesi fatta né il livello critico di probabilità. Quindi, affermare che esiste una significatività statistica non permette di trarre nessuna conclusione se non è chiaramente definito il livello critico prefissato di probabilità e non è chiaramente esplicitata l'ipotesi zero da respingere. Nella maggior parte dei casi l'ipotesi di partenza è che non vi siano differenze di effetto fra due interventi e il livello critico prefissato è il 5%. In tali casi, quindi, ottenere un risultato statisticamente significativo indica che si può respingere con il 95% di confidenza l'ipotesi che i due interventi abbiano lo stesso effetto nella popolazione rappresentata dal campione esaminato.
Il problema critico agli effetti di raccomandazioni utili per la pratica clinica è quale possa essere l'impatto sui malati di un risultato così espresso. Per stimare tale impatto è più ragionevole considerare invece l'intervallo di confidenza della differenza di esito osservata, espressa in termini di numero di pazienti da trattare. Inoltre (vedi 2.1) un risultato isolato non permette di trarre conclusioni definitive, e un insieme di risultati è meglio stimato con una revisione sistematica e una metanalisi che forniscano una stima dell'effetto con il suo intervallo di confidenza e una stima quantitativa di eterogeneità.
Ciò non significa che sia indispensabile attendere il risultato di numerosi studi e della relativa metanalisi per apportare modifiche importanti alla pratica clinica. Possono esistere situazioni –peraltro piuttosto rare – in cui l'effetto osservato è di tale rilevanza agli effetti della tutela della salute dei malati, che anche sulla base di un unico studio è opportuno modificare la pratica clinica (p.es. per riduzione sostanziale di mortalità osservata in uno studio con bias trascurabile, piccolo NNTB e grande NNTH). Tuttavia ciò non esime dal cercare conferma dei risultati ottenuti – non necessariamente con altri studi randomizzati e controllati – né esime dalla valutazione accurata caso per caso del rapporto tra benefici presumibili e rischi prevedibili (cioè dalla considerata valutazione clinica del singolo caso alla luce dei dati disponibili). In ogni caso il grado della raccomandazione relativa rimane inferiore rispetto ai risultati confermati da insiemi di studi omogenei o metanalisi con scarsa eterogeneità, senza tuttavia ridurre l'importanza pratica dell'effetto.