METODI NON PARAMETRICI PER UN CAMPIONE

 

 

 

7.1.   LE CARATTERISTICHE DEI TEST NON PARAMETRICI

 

 

Il test t di Student per uno o per due campioni presentato nel capitolo precedente, il test F di Fisher per l'analisi della varianza, la correlazione e la regressione lineare semplice che saranno illustrati nei prossimi capitoli, la regressione multipla e la statistica multivariata che rappresentano lo sviluppo di tali tecniche applicate contemporaneamente a molte variabili sono i metodi di inferenza classici o di statistica parametrica.

Prima della applicazione di ognuno di questi test, è fondamentale che siano sempre verificati e soddisfatti alcuni assunti che riguardano la popolazione d'origine, dalla quale si presume che i dati campionari siano stati estratti. Nel caso in cui anche uno solo dei presupposti non sia rispettato, neppure dopo appropriati tentativi di trasformazione dei dati che modificano la forma della distribuzione campionaria, possono ragionevolmente sorgere dubbi sulla validità delle inferenze raggiunte. Qualunque risultato statistico può essere messo in dubbio, quando non è certo che siano state rispettate compiutamente le condizioni di validità del test applicato.

 

Il primo assunto da rispettare è l'indipendenza dei gruppi campionari: i campioni sottoposti ai differenti trattamenti dovrebbero essere generati per estrazione casuale da una popolazione, nella quale ogni soggetto abbia la stessa probabilità di essere incluso in un gruppo qualsiasi. In questo modo, i fattori aleatori o non controllati, quelli che nel test t di Student formano l’errore standard e che nell’analisi della varianza formeranno la varianza d’errore o residuo, dovrebbero risultare casualmente distribuiti e non generare distorsioni od errori sistematici. E’ una condizione che spesso è soddisfatta con facilità e che dipende quasi completamente dalla programmazione dell’esperimento. Per esempio, per verificare l’effetto di due tossici con il test t di Student, animali maschi e femmine, giovani ed anziani, grassi e magri devono essere distribuiti casualmente o in modo bilanciato nei due gruppi a confronto, se esiste il sospetto che il sesso, l’età ed il peso possano dare risultati differenti, rispetto all’effetto medio dei due tossici.

 

Il secondo assunto, distintivo della statistica parametrica, riguarda la normalità delle distribuzioni. Da essa deriva la relazione tra popolazione dei dati e medie dei campioni, secondo il teorema del limite centrale: se da una popolazione con media  e varianza , i cui  dati abbiano una forma di distribuzione non normale, si estraggono casualmente campioni di dimensione n, le loro medie

-          si distribuiranno normalmente

-          con media generale m ed

-          errore standard s/.

La non-normalità della distribuzione delle medie è un indice serio di un'estrazione non casuale.

La grande importanza pratica del teorema del limite centrale, che rende diffusamente applicabile la statistica parametrica, deriva dal fatto che gruppi di dati (x_ij), estratti da una popolazione distribuita in modo differente dalla normale, hanno medie () che tendono a distribuirsi normalmente.

La distribuzione normale è la forma limite della distribuzione delle medie campionarie  per n che tende all’infinito. Tuttavia, si può avere una buona approssimazione alla normale della distribuzione delle medie  anche quando n è piccolo e la distribuzione dei dati (x_ij) è molto distante dalla normale.

E’ possibile comprendere il teorema del limite centrale in modo intuitivo, pensando come esempio al lancio dei dadi. Con un solo dado, i 6 numeri avranno la stessa probabilità e la distribuzione delle frequenze dei numeri ottenuti con i lanci ha forma rettangolare. Con due dadi, è possibile ottenere somme da 2 a 12 e tra esse quelle centrali sono più frequenti. All’aumentare del numero di dadi, la distribuzione delle somme o delle medie (la legge è valida per entrambe, poiché contengono la medesima informazione) è sempre meglio approssimata ad una distribuzione normale.

 

Il terzo assunto riguarda la omoschedasticità o omogeneità delle varianze: se sono formati per estrazione casuale dalla medesima popolazione, come espresso nell’ipotesi nulla H₀, i vari gruppi devono avere varianze eguali. Nella statistica parametrica, è possibile verificare se esistono differenze significative tra medie campionarie, solamente quando i gruppi a confronto hanno la stessa varianza. Con un concetto preso dal buon senso, la credibilità di una media è determinata dalla variabilità dei suoi dati. Se due gruppi di dati hanno varianze differenti, hanno due medie con credibilità differenti: è errato calcolare una varianza comune e utilizzare la media dei due gruppi, come nella vita per conoscere la verità non è corretto fare la media tra due affermazioni, quando la prima proviene da una persona credibile, che dice il vero, e la seconda da una persona non credibile, che spesso afferma il falso.

Quando la distribuzione di base è nota, ma non necessariamente normale, si possono calcolare probabilità esatte, come già mostrato con la distribuzione binomiale o con il metodo esatto di Fisher, fondato sulla distribuzione ipergeometrica. Quando la forma della distribuzione dei dati è ignota, servono test che possano essere applicati con qualunque forma di distribuzione. E’ una situazione che nella ricerca sperimentale si realizza con frequenza e che richiede l’uso di test indipendenti dalla forma della distribuzione, come sono appunto molti di quelli non parametrici.

 

L’origine di queste tecniche può essere fatta risalire al Chi-quadrato di K.Pearson e al metodo delle probabilità esatta di R. A. Fisher. Lo sviluppo avviene soprattutto a partire dal 1940 e può dirsi ormai concluso all’inizio degli anni ’70. Ma la sua applicazione è sempre stata limitata a pochi casi.

In questi anni, l’importanza della statistica non parametrica è fortemente aumentata. Nelle riviste internazionali, è avvenuta una rapida evoluzione nelle scelte degli esperti di statistica. Fino a poco tempo fa, i test parametrici erano quasi sempre richiesti, quando non fosse dimostrato che la distribuzione doveva essere considerata, con elevata probabilità, differente dalla normale; ora sempre più spesso sono accettati solamente se è possibile dimostrare che la distribuzione è normale o approssimativamente tale.

Si è rovesciato l’onere della prova, per accettare la validità di un test parametrico.

Sovente nella ricerca sperimentale è possibile disporre solo di pochi dati, che sono assolutamente insufficienti per dimostrare la normalità della distribuzione; in particolare quando il fenomeno studiato è nuovo e non è possibile citare dati di altre esperienze.

Nelle edizioni più recenti, vari testi importanti di statistica applicata consigliano di ricorrere alle tecniche non parametriche quando gli assunti teorici relativi alle condizioni di validità della distribuzione normale non sono dimostrati.

 

In condizioni di incertezza sull’esistenza delle condizioni richieste da un test parametrico, come quasi sempre succede quando si dispone di pochi dati, una soluzione sempre più diffusa suggerisce una duplice strategia:

1 - utilizzare un test appropriato di statistica parametrica,

2 - convalidare tali risultati  mediante l’applicazione di un test non parametrico equivalente.

Se le probabilità stimate con i due differenti metodi risultano simili, sono confermate la robustezza del test parametrico e la sua sostanziale validità anche in quel caso. Il test non parametrico quindi

-          può servire per confermare i risultati ottenuti con quello parametrico e

-          come misura preventiva contro eventuali obiezioni sulla normalità ed omoschedasticità dei dati.

Se le probabilità dei due test (non il loro valore, che è stimato sulla base di logiche diverse) risultassero sensibilmente differenti, dovrebbe essere considerato come più attendibile il test non parametrico e sarebbe conveniente riportare nella pubblicazione solo esso. Infatti è fondato su condizioni meno rigorose e di conseguenza è caratterizzato da inferenze più generali.

Alcuni autori, tra cui l’autorevole Peter Armitage che nel suo testo con Geoffry Berry (Statistica Medica. Metodi statistici per la ricerca in Medicina, McGraw-Hill, Libri Italia, Milano,  XIX + 619 pp., tradotto anche in italiano nel 1996 dal testo del 1994 Statistical Methods in Medical Research, Blackwell Scientific Publication Limited, Oxford), hanno sintetizzato questi concetti in alcuni consigli conclusivi ai ricercatori (pag. 472): “In generale, è forse meglio considerare i metodi non parametrici come un insieme di tecniche cui far riferimento quando gli assunti teorici standard hanno una validità relativamente dubbia. Infine torna spesso utile poter confermare i risultati di un test di significatività basato sulla teoria normale mediante l’applicazione di un appropriato test non parametrico.”

In modo più esplicito, il consiglio pratico è: Quando sei incerto se utilizzare un test parametrico oppure uno non parametrico, usali entrambi. Con pochi dati e in una ricerca nuova, il dubbio sulla normalità esiste sempre.

 

I metodi non parametrici sono meno potenti, per cui è più difficile rifiutare l’ipotesi nulla; ma quando l’ipotesi nulla è rifiutata, generalmente le conclusioni non possono essere sospettate d’invalidità.

 

I test non parametrici presentano vantaggi e svantaggi.

I test non parametrici sovente si fondano su una tecnica statistica semplice. Con poche eccezioni, richiedono calcoli elementari, spesso fondati sul calcolo combinatorio, che possono essere fatti in modo rapido, anche mentalmente, senza alcun supporto tecnico sofisticato. Per tale caratteristica è comprensibile la definizione, data anni fa da Tukey, di “metodi rapidi e sporchi”, per evidenziare da una parte il minor tempo richiesto dai calcoli, dall’altra anche la minor eleganza logica e la inferiore pulizia matematica formale rispetto ai metodi parametrici.

Quando per la verifica delle ipotesi non è possibile o non è conveniente applicare i metodi classici, si può ricorrere a test di statistica non parametrica, detti anche metodi indipendenti dalla forma della distribuzione (distribution-free).

Per la maggior parte, questi metodi sono fondati sulle statistiche di rango o d’ordine; non utilizzano la media, ma la mediana come misura della tendenza centrale; vengono applicati indifferentemente sia alle variabili casuali discrete che a quelle continue.

Quando le scale sono qualitative od ordinali e i campioni non sono di grandi dimensioni, non esistono alternative accettabili all’uso di test non parametrici.

 

I metodi non parametrici presentano diversi vantaggi. Nell’introduzione del Capitolo I, del testo Nonparametric Statistical Methods, (2^nd ed. John Wiley & Sons, New York, XIV + 787 pp.) pubblicato nel 1999, Myles Hollander e Douglas A. Wolfe ne elencano nove. Con un lista ancor più ampia, si può ricordare che i metodi non parametrici

-          richiedono poche assunzioni sulle caratteristiche della popolazione dalla quale il campione è stato estratto, in particolare non richiedono l’assunzione tradizionale di normalità; richiedono cioè ipotesi meno rigorose, in numero minore, più facilmente verificate nella realtà;

-          permettono di stimare un valore esatto di probabilità per i test e gli intervalli di confidenza, senza richiedere la normalità della distribuzione,

-           forniscono risposte rapide con calcoli elementari, quando i campioni sono piccoli,

-          sono meno sensibili ai valori anomali e quindi più estesamente applicabili; portano a conclusioni più generali e sono più difficilmente confutabili;

-          spesso sono più facili da capire;

-          alcune volte permettono anche analisi differenti, non possibili con i metodi classici, poiché non esistono test parametrici equivalenti, come nel caso del test delle successioni (presentato nel paragrafo successivo);

-          in certe condizioni, hanno addirittura una potenza maggiore, in particolare quando i dati raccolti sono molto distanti dagli assunti di validità del test parametrico;

-           le nuove tecniche, quali il jackknife e il bootstrap (illustrati nell’ultimo capitolo) permettono di analizzare situazioni molto complesse, dove i metodi parametrici non sono in grado di derivare una distribuzione delle probabilità;

-          la diffusione dei computer rende il loro uso ancor più semplice e esteso.

 

Impiegati vantaggiosamente in una varietà di situazioni, i test non parametrici presentano anche alcuni svantaggi.

Per scale d'intervalli o di rapporti, quando le condizioni di validità per i metodi classici sono rispettate in modo rigoroso,

-          sovente sfruttano in modo meno completo l'informazione contenuta nei dati; quindi hanno una potenza minore, in particolare quando riducono l'informazione da scale d'intervalli o di rapporti a scale di rango o a risposte binarie.

Per campioni di grandi dimensioni i metodi non parametrici, soprattutto se fondati sul calcolo combinatorio,

-          a volte richiedono metodologie più lunghe, manualmente impossibili, che pretendono l’uso del calcolatore. L’attuale divulgazione di alcuni di questi metodi, come sarà illustrato negli ultimi capitoli, è dovuta soprattutto alle possibilità di calcolo ripetuto dell’informatica.

Per molti test è complesso valutare la significatività delle ipotesi,

-          poiché è difficile disporre delle tavole dei valori critici, pubblicati solo in testi per specialisti, quando non si hanno campioni abbastanza grandi da permettere l’uso della distribuzione normale.

 

I metodi non parametrici sono adatti a problemi relativamente semplici, come il confronto tra due o più medie o tra due o più varianze, sempre relativamente ad un solo fattore. Con strutture di dati complesse, in cui si vogliano considerare contemporaneamente più fattori e covariate, non esistono ancora alternative al modello parametrico. Una soluzione elegante è spesso la trasformazione dei dati nel loro rango: anche con poche osservazioni, la distribuzione diventa approssimativamente normale e vengono ricostruite le condizioni di validità per l’uso dei test di statistica classica.

 

Nella ricerca ambientale, si rivela sempre più utile la conoscenza della statistica non parametrica, almeno dei test che più frequentemente sono citati nella letteratura specifica. Esiste un'ampia varietà di situazioni in cui possono essere applicati con rilevante profitto. Sotto l'aspetto didattico, per la sua semplicità d’impostazione, la statistica non parametrica si dimostra particolarmente utile nell'apprendimento dei processi logici, in riferimento alla formulazione delle ipotesi, alla stima delle probabilità mediante il test e all'inferenza sui parametri a confronto.

 

I test di statistica classica formano una struttura logica unica, che ricorre ai medesimi presupposti ed elabora, in modo organico e con complessità crescente, una quantità di informazioni sempre maggiore, dal test t all'analisi della varianza, dalla regressione lineare semplice all’analisi della covarianza, dalla regressione multipla alla statistica multivariata.

La statistica non parametrica invece è cresciuta per semplice accumulo di una serie ormai innumerevole di test, ognuno proposto per risolvere un problema specifico o poche situazioni particolari, anche se molti di essi si rifanno agli stessi principi elementari, come il calcolo dei segni, dei ranghi o delle precedenze.

In questa frammentarietà d’elementi comuni e diversità d’approcci, diventa difficile ed ampiamente soggettiva una organizzazione logica e didattica delle varie centinaia di test non parametrici che è possibile rintracciare in letteratura. Nei testi è frequentemente risolta non sull'analogia dei metodi, ma sulla base del numero di campioni a confronto e delle ipotesi da verificare.

Nella presentazione dei metodi più utili, i test non parametrici sono sovente classificati in 3 gruppi:

1 - test per 1 campione e per 2 campioni dipendenti o indipendenti,

2 - test per k campioni dipendenti o indipendenti,

3 - test per l’associazione, la valutazione delle tendenze,  la correlazione e la regressione.

 

In queste dispense, dato l’alto numero di metodi presentati, sono stati suddivisi in

1 - test per un campione;

2 - test per due campioni dipendenti

3 - test per due campioni indipendenti,

4 - test per più campioni dipendenti o indipendenti,

5 – misure di tendenza e di associazione,

6 – test per correlazione, concordanza e regressione lineare.

Ad essi sono stati aggiunti altri paragrafi sull’uso del bootstrap e del jackknife, le tecniche più recenti quando non sia possibile ricorrere alla statistica parametrica.

 

Tra i vari argomenti fino ad ora discussi, il test , il test G e il metodo esatto di Fisher devono essere classificati tra i test non parametrici. Sono stati trattati separatamente e prima della discussione generale sui metodi, perché utili a presentare in modo semplice la procedura dell'inferenza; inoltre essi sono considerati fondamentali in qualsiasi corso anche elementare di statistica, a causa delle loro numerose applicazioni nella ricerca sperimentale, sia in natura sia in laboratorio.

I test presentati nel terzo capitolo sul c² e il test G,  con esclusione di quelli che si rifanno alla distribuzione Z, sono parte integrante ed essenziale della statistica non parametrica. In vari casi, essi forniscono anche le procedure inferenziali, i valori critici e la distribuzione delle probabilità di altri test non parametrici; è il caso del test della mediana, che dopo aver diviso i 2 o più gruppi a confronto in due classi, ricorre al test c² o test equivalenti per la stima della significatività.