TEST NON PARAMETRICI PER IL TREND

 

 

19.2.  IL TEST DI COX E STUART (E SUE VARIANTI) PER IL TREND NELLA POSIZIONE E NELLA DISPERSIONE.

 

 

Con un campione di dati, non importa se raccolti con regolarità costante oppure in modo variabile, ma

-          in successione temporale,

-          oppure disposti lungo un gradiente spaziale,

 il test di Cox e Stuart (Cox-Stuart trend test, the Cox-Stuart sign test for trend) permette di verificare, per la variabile considerata e con due metodi distinti, se esiste una tendenza monotona all’aumento oppure alla diminuzione della tendenza centrale e della variabilità.

In termini più espliciti il test può essere utilizzato per verificare separatamente

-          sia ipotesi sulla tendenza centrale o posizione (location),

-          sia ipotesi sulla variabilità o dispersione (dispersion).

 

Per quanta riguarda la tendenza centrale, la metodologia più semplice di Cox e Stuart è del tutto simile al test dei segni per due campioni dipendenti, sia nel caso di piccoli che di grandi campioni.

Pure ricorrendo a una trasformazione binaria (che gli autori indicano con 1 e 0, ma che in molti testi si preferisce indicare con + e -), i dati originali dovrebbero essere rilevati con una scala continua, per non avere valori identici (o almeno pochi).

 

Per quanto riguarda la tendenza centrale, il metodo “breve” proposto congiuntamente  da D. R. Cox dell’Università di Cambridge e  Alan Stuart della London School of Economics nel 1955 (con l’articolo Some quick tests for trend in location and dispersion, pubblicato su Biometrika, Vol. 42, pp. 80-95) permette di valutare se

-          nel complesso dei dati,

-          tra i valori iniziali e quelli finali,

-          esiste un incremento oppure una diminuzione significativi,

-          pure in presenza di ampie irregolarità casuali o cicliche e di un allontanamento rilevante dalla linearità.

Il test non risulta significativo se i dati hanno una fase d’incremento e una fase altrettanto lunga di decremento o viceversa; è significativo solamente se una delle due è statisticamente prevalente; la verifica verte sulla esistenza di una regressione monotonica, cioè un variazione sistematica in aumento oppure in diminuzione che non è necessariamente lineare.

Nei testi internazionali di statistica non parametrica, questo metodo è riportato

- brevemente in quello di P. Sprent e N. C. Smeeton del 2001 Applied nonparametric statistical methods (3^rd ed.  Chapman & Hall/CRC, XII + 461 p.),

- in modo più esteso in quello di W. J. Conover del 1999 Practical nonparametric statistics (3^rd ed., John Wiley & Sons, New York, VIII + 583 p.).

 

Spesso è collocato tra i test per un campione come sviluppo della distribuzione binomiale, sulla quale è fondato. Con tale impostazione, il parametro tempo o spazio non assumono alcuna importanza, purché i singoli dati siano riportati in serie, secondo l’ordine della rilevazione.

In altri manuali, è classificato tra i test per dati bivariati, insieme con la regressione lineare o monotonica e della correlazione non parametriche.

Con N osservazioni indipendenti

X₁,  X₂, …, X_N

 in serie ordinata rispetto a un’origine

-          l’ipotesi nulla è che non esiste trend

H₀: la tendenza centrale delle osservazioni da 1 a N è costante

-          contro una delle ipotesi alternative,

H’₁: la serie di osservazioni ha una tendenza centrale non costante (ipotesi bilaterale)

oppure

H”₁: le osservazioni hanno una tendenza centrale in crescita  (ipotesi unilaterale crescente)

oppure

H’”₁: le osservazioni hanno una tendenza centrale in diminuzione  (ipotesi unilaterale decrescente).

Il metodo proposto, estremamente semplice e fondato sulla distribuzione binomiale, richiede alcuni passaggi logici, spiegati con facilità attraverso la presentazione di un esempio.

 

Si supponga di avere rilevato la seguente serie di 12 misure (arrotondate all’unità), raccolte

-          in successione temporale, come dodici analisi mensili

-          o geografica, come un indice d’inquinamento lungo un corso d’acqua

 

 

 per verificare se esiste un incremento significativo nella tendenza centrale dei valori.

 

In questo caso il test è unilaterale, con

H₀: il valore delle osservazioni da 1 a N è costante o tende a diminuire

H₁: il valore delle osservazioni è crescente

 

Per applicare e comprendere il test, è utile seguire i seguenti passaggi:

 

1 - Individuare l’osservazione centrale, che corrisponde alla mediana del tempo o dello spazio della serie di rilevazioni; con N = 12 è tra la sesta e la settima misura, quindi tra il valore 22 e il valore 21 del campione.

 

2 - Se il numero N d’osservazioni è pari (come nell’esempio), separare il campione in due gruppi uguali, ognuno con N/2 dati; ad esempio

-          il primo gruppo dalla prima misura fino alla sesta comprese

-          il secondo gruppo dalla settima misura alla dodicesima

 

 

 accoppiando  la serie delle misure antecedenti la mediana con quella ad essa successive.

 

3 – In modo più dettagliato, abbinare

-          il primo valore dei dati che precedono la mediana (1) al primo valore di quelli successivi alla mediana ( N/2 + 1), cioè i valori 17 e 21,

-          il secondo del primo gruppo (2) con il secondo del secondo gruppo (N/2 + 2), cioè i valori 16 e 23,

-          fino all’ultimo dato (22 e 23) di ognuno dei due gruppi,

-          segnando il segno delle N/2 differenze, come riportato nella tabella seguente:

 

 

 

Si ottengono N/2 segni, ognuno dei quali può essere positivo (+) o negativo (-), in dipendenza del fatto che tra le coppie di dati a confronto si è realizzato un aumento oppure una diminuzione.

 

4) Se è vera l’ipotesi nulla H₀, questa serie di N/2 differenze avrà tendenza centrale nulla: in termini più discorsivi, i segni positivi e i segni negativi tenderanno ad avere la stessa frequenza.

Diversamente, avrà

-          tendenza centrale positiva (maggioranza significativa di segni positivi), se la serie totale di rilevazioni ha valori crescenti;

-          oppure una tendenza centrale negativa (maggioranza significativa di segni negativi), se la serie di rilevazioni ha valori decrescenti.

 

5) Se il numero N di osservazioni non è pari ma dispari, come nella serie successiva di 13 dati,

 

 

 è necessario eliminare il valore (N +1)/2, cioè il settimo (in grassetto), corrispondente alla mediana del tempo o dello spazio.

Successivamente si devono costruire i due gruppi con lo stesso numero di dati e abbinare i valori come nel precedente punto 3; infine si calcolano le (N-1)/2  differenze:

 

 

 

6) Alla successione di segni positivi e negativi, si applica il test dei segni utilizzando

- nel caso di campioni piccoli la distribuzione binomiale,

P_(r) = C^r_N p^r q^N-r

 in cui

-          N = numero totale di segni

-           = numero del segno meno frequente;

Per non effettuare i calcoli e ottenere rapidamente il valore della probabilità, è vantaggioso utilizzare la distribuzione cumulata riportata nella pagina successiva.

 

 

PROBABILITA’  CUMULATE  DELLA  DISTRIBUZIONE  BINOMIALE

 

N = numero di osservazioni

  = numero minore tra segni positivi e negativi

 

N

 

 

 

Nel caso di campioni grandi per la rapidità del calcolo è conveniente  utilizzare

-         

 la distribuzione normale

 

 con la correzione per la continuità (tra 30 e 100 dati almeno).

 

Poiché l’analisi è condotta sulle N/2 differenze, la serie di rilevazioni del campione deve essere il doppio di quanto necessario alla significatività della distribuzione binomiale, cioè almeno 6 differenze; di conseguenza, serve una serie con almeno  12 osservazioni per raggiungere la significatività, come è possibile dedurre dalla semplice lettura della tabella della distribuzione binomiale cumulata.

Nel caso in cui una o più differenze risultino uguali a 0, si eliminano tali osservazioni non conteggiandole né tra N né tra r.

E’ il motivo per cui (come già evidenziato) si richiede che la scala, con la quale i valori o punteggi sono stimati, sia continua: i valori identici dovrebbero essere nulli o comunque molto rari. Ignorare i confronti con differenza nulla è un metodo semplice e diffuso, applicato in vari test in cui le risposte utilizzate sono di tipo binario. Il metodo solleva obiezioni da parte di alcuni statistici teorici, in quanto anche la risposta nulla contiene una certa quantità d’informazione; ma pure i metodi alternativi hanno aspetti criticabili e inoltre sono metodologicamente più complessi e lunghi, senza apportare miglioramenti effettivi alla potenza del test.

 

ESEMPIO 1.   In un corso d’acqua che attraversa un centro di residenze turistiche, durante due mesi sono stati effettuati 20 prelievi ad intervalli irregolari, per verificare l’ipotesi di un aumento dell’inquinamento d’origine organica dovuto all’incremento delle presenze.

 

I valori raccolti che possono essere

-          sia indicatori complessi o punteggi della presenza di sostanze inquinanti, quindi una scala di rango

-          sia misure di concentrazione per litro, quindi una scala di rapporti ma con distribuzione non normale

 sono stati disposti in tabella secondo l’ordine temporale dei prelievi

 

Prelievi	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20
Indice	12	13	15	22	16	13	17	17	18	15	14	15	16	13	18	18	18	20	19	19

 

 

Con questi dati campionari, si può sostenere che esiste un aumento significativo nella concentrazione delle sostanze inquinanti, durante il periodo dei prelievi?

 

Risposta. E’ un’ipotesi unilaterale crescente, con

H₀: la posizione  delle osservazioni da 1 a N è costante

 e

H₁: la serie dei valori dimostra un aumento della tendenza centrale

 

La stima della probabilità può essere ottenuta con alcuni passaggi:

 

 1 - Separare la serie complessiva in

-          valori prima del tempo mediano e

-          valori dopo il tempo mediano,

 mantenendo per ogni gruppo lo stesso ordine della serie iniziale

 

 

 

2 - Benché i valori siano approssimati, in questo esempio è possibile calcolare il segno di tutte le  differenze: si ottengono 9+ e 1-

 

3 - Se fosse vera l’ipotesi nulla H₀, la probabilità di trovare per caso questa risposta sommata a quella di risposte più estreme è data dalla somma delle relative distribuzioni binomiali:

P₍₉₎ = C⁹₁₀ 0,5⁹ 0,5¹

 e

P₍₁₀₎ = C⁰₁₀ 0,5¹⁰ 0,5⁰

 

Se la somma delle probabilità P₍₉₎ + P₍₁₀₎ risulta inferiore a 0.05 si può rifiutare l’ipotesi nulla e concludere che è dimostrata una tendenza significativa all’aumento della variabile X.

Senza perdere tempo nel calcolo delle probabilità, la tabella dei valori cumulati

  per N = 10  e  r = 1  fornisce una probabilità complessiva  P = 0.011,

 che permette di rifiutare l’ipotesi nulla ed affermare che esiste una tendenza significativa all’aumento dell’inquinamento.

 

Se il test fosse stato bilaterale, sarebbe stato necessario moltiplicare questa probabilità per due: si sarebbe ottenuta una probabilità P = 0.022 che avrebbe ugualmente permesso di affermare che esiste una variazione monotona significativa (senza indicarne la direzione).

 

Questo test per la tendenza centrale ha alcune varianti, che possono essere scelte in rapporto alle caratteristiche della serie di osservazioni.

Le due varianti più diffuse sono:

- la suddivisione dei dati non in due ma in tre gruppi, confrontando tra loro solamente i due gruppi estremi mediante la medesima procedura già illustrata,

- la suddivisione dei dati in due gruppi, ma effettuando il confronto a coppie in modo differente: si confronta il primo valore del primo gruppo con  l’ultimo del secondo gruppo; il secondo del primo gruppo con il penultimo del secondo gruppo, procedendo quindi con abbinamenti di dati dagli estremi verso l’interno.

 

Tra questi due metodi, il secondo può esser utile quando le variazioni cicliche sono importanti e non è possibile sovrapporre due cicli completi. Ma quello che ha applicazioni più generali è il primo, già proposto da Cox e Stuart. E’ utile in particolare quando i valori sono stati raccolti in un numero dispari di cicli, come nella tabella seguente. In essa è riportato l’esperimento dell’esempio precedente sul livello d’inquinamento in una località di vacanza, ma in un periodo di rilevazioni giornaliere della durata tre settimane consecutive

 

 

 

A causa delle variazioni giornaliere, non ha senso dividere il gruppo in due. E’ più utile confrontare il lunedì della prima settimana con quello della terza e procedere nello stesso modo per tutti i 7 giorni.

E’ importante annotare che questa ciclicità non dovrebbe essere stabilita sulla base del campione di dati raccolti, poiché potrebbe essere casuale e quindi la scelta incidere fortemente sulla probabilità a stimata. L’eliminazione di un gruppo di dati deve avvenire sulla base di conoscenze già acquisite sulla ciclicità del fenomeno.

Confrontando la prima e la terza settimana,

 

 

 

 risulta che i segni + sono 7 e quelli - sono 0.

Sulla tabella della distribuzione binomiale cumulata con N = 7 e  = 0,  è riportata una probabilità unilaterale P = 0.008. Se la domanda era di verificare un aumento del livello d’inquinamento durante tutto il periodo di tre settimane, la conclusione è che esiste un incremento altamente significativo.

 

Rispetto alla procedura standard di suddivisione in due periodi, questo metodo

-          ha sempre lo svantaggio di eliminare una parte dei dati e quindi di perdere informazione e potenza,

-          ma spesso offre il grande vantaggio, superiore allo svantaggio, di permettere confronti omogenei tra due gruppi di osservazioni che inoltre distano un tempo maggiore; quindi di favorire la costruzione di un test più significativo, perché il segno delle differenze tra le coppie di osservazioni risulta molto più stabile, meno influenzato dalle variazioni casuali, con prevalenza numerica più netta di un segno sull’altro.

 

ESEMPIO 2. (Tratto dall’articolo di Cox e Stuart per il caso di un campione grande). Si assuma di disporre della quantità annuale di pioggia (in pollici) a Oxford dal 1858 al 1952. Si è avuta una variazione significativa nella quantità media di pioggia durante questi 95 anni?

 

Risposta. Il numero di osservazioni è alto e quindi è vantaggioso suddividerlo in tre parti. Ma poiché 35 non è divisibile per 3, è conveniente

-          fare il primo gruppo con le prime 32 osservazioni,

-          scartare il gruppo centrale con 31 osservazioni e

-          accoppiare le ultime 32 osservazioni con le prime.

Nella pubblicazione sono riportati i risultati dei 32 confronti, dai quali risultano 14 più e 18 meno (in realtà gli autori, pure chiamandolo test dei segni, utilizzano rispettivamente 1 e 0 e trovano una somma uguale a  14).

Il campione è abbastanza grande per utilizzare l’approssimazione alla normale, con la correzione per la continuità

 dove

- X è la frequenza minore tra + e -  (nell’esempio X = 14)

-          Np è la media attesa (nell’esempio N = 32 e p = 0,5)

-          Npq è la varianza di una proporzione (nell’esempio 32 x 0,5 x 0,5)

Di conseguenza, si ottiene

 un valore Z = 0,53.

In una distribuzione bilaterale, poiché in questo caso a priori non è atteso né un aumento né una diminuzione, ma si vuole verificare solo se era intervenuta una variazione significativa, a Z = 0,53 corrisponde una probabilità P = 0,596. E’ molto alta: non solo non permette di rifiutare l’ipotesi nulla, ma spinge a affermare che l’ipotesi nulla è vera. La quantità annuale di pioggia si è mantenuta costante durante il periodo analizzato.

 

Cox e Stuart nel loro articolo propongono anche un metodo più complesso, che utilizza il rango  delle differenze, non solo il segno. Ha il vantaggio di utilizzare una quantità maggiore dell’informazione contenuta nelle differenze e quindi di essere più potente; ma per una quantità trascurabile, come stimano i due autori confrontando l’efficienza relativa secondo il metodo di Pitman. Soprattutto ha lo svantaggio di essere più lungo e di poter essere applicato solo con scale continue. Sebbene nell’artico citato Cox e Stuart lo preferissero, è riportato molto raramente anche nei testi internazionali di statistica non parametrica. Il metodo illustrato, quello più semplice, offre vantaggi pratici rilevanti.

 

Per l’analisi della variabilità o dispersione (sign tests for trend in dispersion), il criterio dei confronti a coppie è identico; ma, per ottenere misure di variabilità, si richiede un numero nettamente maggiore di dati, dovendo calcolare la variabilità entro ogni sottoperiodo. E’ stato discusso anche da Hans K. Ury nel 1966 con un articolo molto breve, di poche righe, Large-Sample Sign Tests for Trend in Dispersion (pubblicato su Biometrika, Vol. 53, pp.289-291). E’ una analisi rapida della dispersione dei dati in una serie storica, così presentata: For quickly testing trend in dispersion (in a time series, for example,), Cox e Stuart (1955) have investigated several sign tests applied to the ranges of subset of k observations.

Disponendo di una serie larga di osservazioni, occorre

1 - suddividere l’insieme degli N dati in tanti sottogruppi con k dati ognuno;

Cox e Stuart, dopo valutazione dei risultati, suggeriscono anche quale è la scelta migliore per k. Dipende da N, secondo lo schema:

se             N ³ 90   prendere  k = 5

se    90 >  N ³ 64   prendere  k = 4

se    64 >  N ³ 48   prendere  k = 3

se    48 >  N           prendere  k = 2

 

2 – Se N non è esattamente divisibile per k, scartare la serie di valori in eccesso che si trovano attorno alla mediana del periodo  (o spazio) complessivo considerato.

3 – Per ogni sottogruppo di k osservazioni calcolare la devianza; è possibile utilizzare anche le varianze, ma è più rapido fermarsi al calcolo delle prime; inoltre, trattandosi di sottogruppi con lo stesso numero k di dati e effettuando confronti binari (maggiore o minore), il risultato è identico.

4 – Con il metodo ritenuto classico, dividere le p devianze (dove p = N/k) in due gruppi per effettuare confronti a coppie; se il numero p è dispari, scartare quello centrale.

5 – E’ possibile utilizzare il metodo con tre gruppi, scartando quello centrale, non necessariamente delle stesse dimensioni dei due esterni, che invece devono avere lo stesso numero di gruppi sottogruppi.

6 - Contare il numero di segni positivi e negativi dei confronti a coppie, stimando la probabilità con la distribuzione binomiale o normale, in funzione del numero di segni.

 

ESEMPIO 3. (Tratto dall’articolo di Cox e Stuart). Come nell’esempio precedente, si assuma di disporre della quantità annuale di pioggia a Oxford dal 1858 al 1952. Tuttavia, in questo caso non si vuole verificare la quantità media ma la variabilità annuale. Si è avuta una variazione significativa nella variabilità della quantità di pioggia annuale durante questo periodo?

 

Risposta. E’ un test bilaterale, non essendo espresse teorie sulla variabilità della quantità annuale di piogge. L’ipotesi nulla è che la variabilità sia rimasta costante, mentre l’ipotesi alternativa è che essa sia variata.

 

1 - Con 95 osservazioni, si possono fare sottogruppi di k = 5 dati (come suggerisce la tabella di Cox e Stuart); dalle quantità annuali (misurate in pollici), si ottengono esattamente 19 devianze (95/5) di altrettanti quinquenni, di seguito riportati secondo l’ordine temporale delle osservazioni

 

 

 

 

 

 2 – Il numero 19 non è divisibile per 2; si potrebbe eliminare solo il valore centrale e fare 9 accoppiamenti.

Cox e Stuart nel loro articolo preferiscono eliminare i 5 centrali ottenendo i seguenti 7 confronti a coppie

 

 

 

3 – Con 3 + e 4 –, nella tabella della probabilità binomiale cumulata si cerca il valore di probabilità P per N = 7 e r = 3; risulta molto alto; inoltre, per un test bilaterale, deve essere raddoppiato.

4 – Cox e Stuart concludono affermando che benché vi sia una piccola indicazione (4–  e  3+) che la variabilità tende a diminuire nel tempo, il test suggerisce che facilmente si tratta di una variazione casuale. Poiché anche con l’altro metodo giungono alle stesse conclusioni, ovviamente con probabilità non identiche ma molto simili, essi scrivono: Thus although there is a slight indication that the dispersion decreases with time, both tests suggest that this could easily be a sampling fluctuation.

 

Benché il metodo di Cox e Stuart sia apparentemente diverso e molto più breve, i concetti sono simili al test di correlazione non parametrica t di Kendall. In questo ultimo, come è illustrato nel capitolo sulla correlazione non parametrica, per calcolare le precedenze i confronti sono tra ogni valore e tutti quelli successivi. Quindi questo test è meno potente e gli stessi autori stimano una potenza pari a circa 0,78. Ma è applicabile in una varietà di situazioni sperimentali molto più grande, permette di utilizzare informazioni più generali e è molto più robusto.

Questi concetti su una potenza minore ma una robustezza maggiore e la possibilità di applicazioni a situazioni reali più frequenti sono applicabili anche ai test successivi.