METODI NON PARAMETRICI PER DUE CAMPIONI INDIPENDENTI
9.15. CONFRONTO TRA DUE DISTRIBUZIONI OSSERVATE: IL METODO DI KOLMOGOROV-SMIRNOV PER 2 CAMPIONI INDIPENDENTI CON DATI ORDINALI DISCRETI O A GRUPPI E CON DATI CONTINUI
Una tabella Il test di Kolmogorov-Smirnov, necessario per piccoli campioni, è utile anche per grandi campioni, quando si abbia un numero elevato di classi od intervalli, poiché in tali condizioni ha una potenza maggiore del test chi quadrato e del test G. Ovviamente la potenza massima è con dati in una scala continua, che rappresenta la proposta originale di Kolmogorov e Smirnov. Le distribuzioni di frequenza possono riguardare qualunque variabile, da quelle classiche di peso ed altezza, per le quali possono essere applicati anche test parametrici, Alle misure espresse come rapporti, percentuali, valori angolari, colorazioni, indici, punteggi assoluti o relativi, ecc., purché esse possano essere tradotte in ranghi, cioè ordinate per dimensioni o intensità.
Le indicazioni bibliografiche sono uguali a quelle già riportate nel test di Kolmogorov-Smirnov per un campione. Differiscono le indicazioni per le tabelle dei valori critici, che ovviamente per il metodo ora illustrato devono considerare una casistica più complessa, in particolare se i due campioni non sono bilanciati.
Il test di Kolmogorov-Smirnov per due campioni indipendenti è utilizzato per verificare l’ipotesi alternativa se le distribuzioni di frequenza di due campioni appartengano a popolazioni differenti. E’ un test generalista, cioè permette di valutare la significatività complessiva dovuta a differenze - sia nella tendenza centrale, - sia nella dispersione, - sia nella simmetria e, - sebbene in modo meno evidente, nella curtosi. Non è un test specifico per nessuno di questi fattori. Quindi non deve essere utilizzato se l’ipotesi verte su un parametro specifico, come la media e la varianza oppure la simmetria. Tuttavia non tutti i parametri pesano nello stesso modo; è più sensibile alle differenze nelle tendenze centrali, perché incidono sulla differenza complessiva tra le due distribuzioni in modo più marcato. Se il test risulta significativo, per individuare con esattezza quale caratteristica della distribuzione determini la differenza riscontrata, occorre di conseguenza ricorrere anche all’uso di altri test, che ne verifichino solamente una e che, ovviamente, per quell’uso specifico sono più potenti. Sotto l’aspetto della ricerca applicata, è utile quando si intende verificare se due serie di valori possono o meno appartenere alla stessa popolazione. Infatti, se hanno origine diversa, è logico supporre che le due serie di dati campionari differiscano in almeno un parametro, senza che a priori sia noto quale. Il test di Kolmogorov-Smirnov per due campioni può essere utilizzato - sia con dati misurati su una scala ordinale discreta o con dati continui raggruppati in classi, - sia con dati continui di una scala di rapporti oppure a intervalli oppure ordinale.
PER DATI DISCRETI O RAGGRUPPATI Tra i testi internazionali, questo metodo è riportato in - Siegel Sidney e N. John jr. Castellan del 1988 (Nonparametric Statistics for the Behavioral Sciences, (McGraw-Hill, London), tradotto in italiano nel 1992 Statistica non parametrica 2° ed., McGraw-Hill Libri Italia, Milano, 472 pp.) del quale sono seguite le indicazioni nella presentazione del metodo e della logica.
In modo analogo al test per un campione, questo per 2 campioni richiede - che dapprima sia effettuata la trasformazione delle frequenze assolute in frequenze relative entro ogni campione, mediante il rapporto della frequenza di ogni classe con il numero totale di osservazioni; - successivamente, che entro gli stessi intervalli sia attuato il confronto tra le due frequenze cumulate, per quantificare la deviazione o differenza massima.
Sulla base dell’ipotesi formulata, se unilaterale oppure bilaterale, la differenza massima può essere considerata con il segno oppure in valore assoluto. Indicando con O1( - nel caso di un test ad una coda si deve calcolare la deviazione massima D con il segno D = diff. mass. ( O1(Xi) - O2(Xi) )
- per un test a due code non è importante conoscere la direzione della differenza; lo scarto massimo è quindi calcolato in valore assoluto D = diff. mass. | O1(Xi) - O2(Xi) |
Nel caso di piccoli campioni, quando le due distribuzioni hanno al massimo 25 osservazioni (altri testi definiscono i campioni come piccoli fino ad un massimo di 40 osservazioni), si può ricorrere a tabelle specifiche per verificare se la differenza massima tra le cumulate delle frequenze relative supera il valore critico e quindi sia significativa. Sulle tabelle di significatività, le proposte in letteratura sono numerose, in quanto questo test è stato tra quelli che hanno suscitato un dibattito scientifico maggiore. Quelle riportate in queste dispense sono tra le più semplici.
Il valore da confrontare (J) è ottenuto moltiplicando la differenza massima D per le dimensioni dei due campioni n1 e n2. J = I valori critici sono differenti - per test a una coda, riportati nella prima tabella - per test a due code, riportati nella seconda tabella.
La loro impostazione è uguale. Per il loro uso, ricordare che -
sulla
prima riga si trova il numero di osservazioni del primo ( - alla loro intersezione si trovano i tre valori J critici in colonna, associati rispettivamente dall’alto al basso alla probabilità a = 0.10, alla probabilità a = 0.05 e a quella a = 0.01. Il valore J calcolato (J = D× n1 × n2 ) indica una differenza significativa quando è uguale o superiore a quello critico riportato nella tabella.
Nel caso di un test ad una coda, per esempio - con 10 osservazioni nel campione 1 e con 12 osservazioni nel campione 2, la differenza tra le due distribuzioni cumulate è significativa - alla probabilità a = 0.10 quando J ³ 52, - alla probabilità a = 0.05 quando J ³ 60, - alla probabilità a = 0.01 quando J ³ 74.
E’ possibile osservare che la distribuzione dei valori critici è simmetrica. Alle stesse probabilità sono identici, quando si hanno 12 osservazioni nel campione 1 e 10 osservazioni nel campione 2.
Valori critici (J) nel test, ad una coda, di Kolmogorov-Smirnov per 2 campioni indipendenti. Il valore superiore è per a = 0.10; quello centrale per a = 0.05 e quello inferiore per a = 0.01.
Valori critici nel test, a due code, di Kolmogorov-Smirnov per 2 campioni indipendenti. Il valore superiore è per a = 0.10; quello centrale per a = 0.05 e quello inferiore per a = 0.01.
Anche nel caso di grandi campioni, si devono calcolare valori critici differenti se l’ipotesi è a una coda oppure a due code.
Se il test è a una coda, secondo la proposta di L. A. Goodman del 1954 (vedi Kolmogorov-Smirnov tests for psychological research in Psychological Bulletin Vol. 51, pp. 160-168) il valore critico viene determinato mediante c2(2) =
che ha una distribuzione bene approssimata dal c2 con 2 gradi di libertà. Se il test è a due code, il valore critico
- alla probabilità a = 0.05 è dato da 1,36 ×
- alla probabilità a = 0.01 è 1,63 ×
- alla probabilità a = 0.005 è 1,73 ×
- alla probabilità a = 0.001 è 1,95 ×
Alcuni esempi illustrano la metodologia in modo semplice, ma completo nei suoi passaggi logici.
ESEMPIO 1. (CAMPIONI PICCOLI) Mediante le cartine al tornasole è possibile misurare il pH di alcuni campioni d’acqua. Metodi analoghi di colorazione vengono usati per confrontare la quantità di fosfati e di nitrati. Su una scala ordinale con intensità crescente, suddivisa in 8 livelli, sono state riportate le frequenze osservate durante una giornata di rilevazioni in due serie differenti di campioni, raccolti all’ingresso ed all’uscita di un depuratore. All’ingresso sono stati raccolti 10 campioni e all’uscita 12 campioni, secondo la distribuzione dei valori riportata nella tabella sottostante.
DISTRIBUZIONE OSSERVATA
Questi dati dimostrano che la quantità di sostanza inquinante contenuta nell’acqua all’uscita del depuratore ha frequenze maggiori di valori bassi? (può dipendere da una media inferiore, da una varianza minore, da variazioni nella simmetria)
Risposta. E’ il confronto di 2 piccoli campioni, con un test ad una coda. Infatti in esso si ipotizza che la differenza massima sia nella prima parte della distribuzione, cioè per valori bassi a vantaggio dell’uscita.
1 - Dapprima si trasformano le frequenze assolute in frequenze relative (riga 1 e riga 3)
Calcolo della differenza massima tra le distribuzioni cumulate
2) Successivamente si calcolano le cumulate Riga 2 e riga 4);
3) Infine, mediante la serie di differenze tra le due cumulate, si individua lo scarto massimo (riga 5), che risulta uguale a 0,750 (nella classe di colorazione III).
4) Il valore J da confrontare con la tabella è J = 0,750 × 10 × 12 = 90
5) La tabella sinottica che riporta i valori critici per test ad una coda in piccoli campioni, per n1 = 10 e n2 = 12 (anche se è indifferente, perché la tabella dei valori critici è simmetrica) come valore massimo riporta 74 alla probabilità a = 0.01.
6) Il valore calcolato (J = 90) è superiore; quindi, la probabilità che la differenza riscontrata sia imputabile al caso è P< 0.01. Si rifiuta l’ipotesi nulla, accettando l’ipotesi alternativa che la distribuzione dei dati in entrata e in uscita siano statisticamente differenti.
ESEMPIO 2. (CAMPIONI PICCOLI) Sovente, all’ambientalista si pone il problema di analizzare la distribuzione territoriale di specie animali o vegetali, per rispondere al quesito se sono più concentrate o più rare in alcune zone oppure se sono distribuite in modo uniforme. Altro quesito importante è se due specie che vivono sullo stesso territorio hanno distribuzione simile o differente, cioè se occupano le stesse aree con la stessa frequenza, quando esse abbiano un gradiente di distribuzione. Lungo un percorso approssimativamente lineare dalla pianura alla montagna, è stata rilevata la presenza degli individui della specie A e della specie B suddividendo il tragitto in 8 zone consecutive. Si sono raccolte le osservazioni riportate nella tabella sottostante, con il campione della specie A che ha 19 osservazioni e il campione della specie B della quale si sono contati 17 individui.
DISTRIBUZIONE OSSERVATA
Si può sostenere che le due specie hanno un gradiente di distribuzione differente?
Risposta. E’ un test a 2 code e si dispone di piccoli campioni.
1) Dapprima si calcola la differenza massima tra le due cumulate senza considerare il segno, dopo trasformazione delle frequenze assolute in frequenze relative.
Calcolo della differenza massima tra le distribuzioni cumulate (in valore assoluto)
2) La differenza massima è D = 0,421 (nella zona VI) con n1 = 19 e n2 = 17.
3) Il valore da confrontare con la tabella dei valori critici J = D× n1 × n2 = 0,421 × 19 × 17 = 135,98 è J = 135,98.
4) Per un test a due code con n1 = 19 e n2 = 17 alla probabilità a = 0.05 essa riporta 141.
5) Il valore calcolato è inferiore: la probabilità che le differenze siano imputabili al caso è P > 0.05. Non è possibile rifiutare l’ipotesi nulla.
ESEMPIO 3 (CAMPIONI GRANDI E CONFRONTO TRA TASSI DI SOPRAVVIVENZA). Con un primo esperimento si è voluto valutare l’effetto di un tossico alla concentrazione del 2%, immettendo in un acquario 150 dafnie per 10 giorni. Con un altro esperimento, si è valutato l’effetto della stessa sostanza alla concentrazione 3% e sono state immesse 200 dafnie.
Nella tabella sottostante, sono riportati i decessi contati ogni giorno nei due differenti esperimenti.
NUMERO OSSERVATO DI DECESSI PER GIORNO
Dai due esperimenti di laboratorio è dimostrato che la concentrazione maggiore abbia una letalità significativamente maggiore, come appare logico attendersi?
Risposta. E’ un test ad una coda, con due campioni di grandi dimensioni. Occorre verificare se la concentrazione al 3% ha una frequenza relativa maggiore nei valori bassi e quindi una frequenza relativa minore nei valori alti.
1) Si deve calcolare la differenza massima tra le due distribuzione cumulate osservate, dopo trasformazione nelle frequenze relative.
FREQUENZE RELATIVE DI DECESSI PER GIORNO
2) Per un test ad una coda, la differenza massima nella direzione dell’ipotesi alternativa è 0,240. La sua significatività è stimata dalla distribuzione c2 con 2 gradi di libertà
c2(2) =
dove con D = -0,240; n1 = 150; n2 = 200
c2(2) =
si ottiene
3) Alla probabilità a = 0.001 il valore critico per 2 gradi di libertà riportato nella tabella sinottica del c2 è uguale a 13,82.
4) Il valore calcolato con i dati dell’esempio è superiore: si rifiuta l’ipotesi nulla e si accetta l’ipotesi alternativa di una maggiore letalità del tossico alla concentrazione 3%.
5) Se il confronto fosse stato tra due tossici diversi A e B per un test a due code, in cui verificare le differenze nella distribuzione del numero di cavie decedute per giorno, la stima della significatività della differenza massima (uguale a 0,240) avrebbe dovuto essere confrontata, - per la probabilità a = 0.05, con il valore critico ottenuto dalla relazione
1,36× che è uguale a 0,147 - e alla probabilità a = 0.001 con il valore critico
1,95× che è uguale a 0,211. Per entrambe le formule, n1 = 150 e n2 = 200 osservazioni. La differenza massima riscontrata tra le due distribuzioni cumulate sarebbe risultata significativa. In un test unilaterale, la differenza è significativa con probabilità P < 0.001
Come accennato in precedenza, il test proposto originariamente da Kolmogorov nel 1933 per un campione è stato esteso da Smirnov nel 1939 a due campioni (On the estimation of the discrepancy between empirical curves of distribution for two independent samples, pubblicato su Bull. Moscow Univ. Intern. Ser. (Math) Vol. 2, pp.3-16), ma sempre per una scala continua. A motivo delle sue applicazioni numerose e importanti, è stato sviluppato anche per gruppi e/o variabili discrete da vari autori. Tra essi, - W.J. R. Eplett nel 1982 (con The distributions of Smirnov type two-sample rank tests for discontinuous distributions functions pubblicato su Journal of the Royal Statistical Society B 44 pp. 361 – 369), - G. P. Steck nel 1969 (con The Smirnov two sample tests as rank tests , in Ann. Math. Statist. Vol. 40, pp. 1449 – 1466)
PER DATI CONTINUIE’ la sua proposta originale. Tra i testi internazionali è riportato in - Hollander Myles, Wolfe Douglas A., 1999, Nonparametric Statistical Methods, 2nd ed. John Wiley & Sons, New York, 787 pp.
La metodologia può essere illustrata con un esempio.
1) Si supponga di avere rilevato la quantità di una proteina nel sangue di persone affette (A) da una malattia e del gruppo di Controllo (C), per valutare se le due distribuzioni di dati differiscono. In varie condizioni, la malattia incide sulla media, in altre aumenta sensibilmente la variabilità o la diminuisce oppure modifica la forma della distribuzione, accentuandone l’asimmetria, per la presenza di valori anomali in funzione della gravità della malattia.
Quando due distribuzioni sono differenti, non importa per quale parametro, è logico dedurne che la causa o fattore che le determina siano differenti. Diventa una indicazione importante per individuarli, anche se l’interpretazione e la spiegazione è compito del medico o biologo.
2) Con i valori riportati si costruisce una distribuzione unica: colonna 1 e colonna 2.
3) Per ognuna delle due distribuzioni si calcola la cumulata fino a quel punto, con le frequenze relative (Per motivi didattici è stata scelta una forma molto semplice; quindi i due campioni hanno 10 dati ognuno). La colonna 3 rappresenta la cumulata fino a quel dato dei valori continui riportati nella colonna 1. La colonna 4 rappresenta la cumulata fino a quel dato dei valori continui riportati nella colonna 2.
4) Si calcolano tutte le differenze tra le due cumulate, come nella colonna 5. La differenza
massima è in coincidenza dal valore 2,48 e
5) Per i valori critici è possibile utilizzare la tabella riportata (anche se esistono proposte molto più sofisticate) A questo scopo si calcola J J = D× n1 × n2 = 0,6 × 10 × 10 = 60 ottenendo J = 135,98.
- Nella tabella, per un test bilaterale, con n1 = 10 e n2 = 10 sono riportati - alla probabilità a = 0.10 quando J ³ 60, - alla probabilità a = 0.05 quando J ³ 70, - alla probabilità a = 0.01 quando J ³ 80. Di conseguenza, il test non risulta significativo, avendo una probabilità P = 0.10
6) Utilizzando la formula per grandi campioni, il valore critico alla probabilità a = 0.05 è ottenuto dalla relazione
1,36× e risulta uguale a 0,608. Poiché la differenza massima (0,6) è inferiore al valore critico calcolato, con P > 0.05 non è possibile rifiutare l’ipotesi nulla. Ma si potrebbe affermare che è molto vicino al valore critico. In realtà la situazione è differente.
Avvertenza importante. Con la probabilità stimata leggermente superiore a 0.05, si sarebbe potuto affermare che la risposta è tendenzialmente significativa. Purtroppo è ottenuta con la formula approssimata che, come spesso avviene, determina probabilità inferiori alla realtà. Quindi con essa aumenta la probabilità di trovare una differenza, quando nella realtà essa non esiste. Tra le due possibilità d’errore (probabilità minore o maggiore del reale) per lo statistico quella è più grave, che non dovrebbe mai commettere, in quanto induce ad una scelta errata e afferma una cosa non corretta. Usando i computer, che possono avere in memoria tabelle molto complesse, la probabilità fornita dovrebbe non avere questi errori di approssimazione asintotica.
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Manuale di Statistica per la Ricerca e la Professione © Lamberto Soliani - Dipartimento di Scienze Ambientali, Università di Parma (apr 05 ed) ebook version by SixSigmaIn Team - © 2007 |