IL DISEGNO SPERIMENTALE:

CAMPIONAMENTO, PROGRAMMAZIONE DELL’ESPERIMENTO E POTENZA

 

 

23.1. IL DISEGNO SPERIMENTALE E IL CAMPIONAMENTO NELLA RICERCA AMBIENTALE

 

 

Per comprendere più compiutamente le cause e le modalità del disegno sperimentale, (in inglese experimental design, tradotto in modo più efficace con programmazione dell’esperimento), è utile riprendere alcuni concetti, che rappresentano i punti fondamentali dei numerosi argomenti di statistica illustrati in questo testo. Sono anche i punti indispensabili per utilizzare correttamente queste metodologie necessarie per impostare correttamente una verifica statistica e comprenderne la logica scientifica.

Il motivo principale del ricorso all’analisi statistica deriva dalla variabilità. A causa di essa, la stima delle statistiche del campione, per conoscere i parametri di una popolazione e per l'inferenza, richiedono l’uso di misure ripetute. Se non esistesse alcuna differenza tra le singole osservazioni, raccolte in natura nelle medesime condizioni oppure sottoposte in laboratorio al medesimo trattamento, basterebbe un solo dato per ottenere indicazioni precise. Invece, con la media, è sempre necessario fornire la misura della variabilità; spesso è la misura più importante. Di conseguenza, servono sempre almeno due dati per ogni situazione sperimentale, se si intende sia ottenere una descrizione che comprenda anche la variabilità, sia attuare confronti con altre medie.

 

Quasi sempre, due dati sono insufficienti. L'esistenza della variabilità impone l'estensione dell'analisi al numero maggiore possibile di oggetti, poiché l'errore nella stima dei parametri è inversamente proporzionale al numero di repliche raccolte. Nell’altro estremo, se si volesse ottenere la misura esatta della media e della variabilità, senza errore statistico, si dovrebbe rilevare tutti gli individui che formano la popolazione. In molte discipline è un comportamento impossibile e quasi sempre non è conveniente: il bilancio tra costi e benefici diventa negativo, con un aumento eccessivo di dati. Come e quanti dati raccogliere è un problema statistico fondamentale, sia nella pratica che nella teoria.

 

Un buon disegno sperimentale e un buon campionamento richiedono scelte razionali, fondate

- sia sulla elencazione completa degli obiettivi dell’analisi statistica, che quindi devono essere dichiarati in modo esplicito prima ancora della raccolta dei dati,

- sia sulla conoscenza tecnica delle metodologie richieste., che a loro volta dovrebbero essere scelte in questa fase, non a posteriori, dopo la raccolta dei dati.

 

Per essere condotta in modo corretto, una ricerca quantitativa deve raggiungere i tre obiettivi essenziali dell’analisi statistica:

-  le descrizioni e le inferenze tratte dallo studio di un numero limitato di casi devono essere precise,

-  estensibili a tutta la popolazione,

-  con  risultati che devono essere pertinenti al problema.

Per la loro realizzazione, si deve rispondere a tre quesiti essenziali:

- come scegliere gli individui per l’esperimento,

- quanti dati raccogliere,

- come distribuire le repliche, tra i fattori da analizzare.

 

Nelle differenti discipline e in ogni indagine, la statistica applicata risponde a queste domande in modo diverso, a causa dei seguenti cinque fattori che sono sempre presenti in ogni ricerca:

1 -  la differente variabilità del materiale utilizzato,

2 -  la specificità delle domande,

3 -  la precisione con la quale si desiderano i risultati,

4 -  il costo di ogni singolo dato,

5 -  il tempo richiesto dalla loro raccolta.

 

Tuttavia esistono alcuni criteri fondamentali, che è conveniente avere presente nella programmazione e nella conduzione dell’esperimento.

Disegno sperimentale e campionamento non sono sinonimi, anche se spesso sono utilizzati come tali.

Il disegno sperimentale parte dagli obiettivi della ricerca. Con esso si programma la raccolta dei dati, in funzione dei confronti da effettuare.

Ad esempio, se in una ricerca a carattere ambientale si intende misurare e confrontare il livello d’inquinamento dei laghi di una regione, quasi mai è sufficiente la sola indicazione geografica del lago da campionare. Si devono tenere in considerazione anche altri fattori che possono influire sul valore del dato raccolto, quali il periodo o la data, l’origine del lago e le sue dimensioni, la profondità del lago e dove è stato prelevato il campione, le portate in entrata e in uscita, le caratteristiche del bacino. Così impostata, l’analisi può essere finalizzata a conoscere quanto avviene nella popolazione, cioè nell’insieme dei laghi della regione, al variare delle condizioni ambientali e temporali prese in considerazione.

Il campionamento ha come obiettivo la corretta rappresentazione della popolazione, che normalmente nella ricerca ambientale è finita, come appunto il numero di laghi in una regione. Come in molte altre discipline, l’ideale statistico di una popolazione teoricamente infinita è lontano dalla realtà. Inoltre, le unità della popolazione, quali i laghi di un’area geografica, non possono essere manipolate o controllate come nel disegno sperimentale in laboratorio. Le condizioni da verificare non sono costruite artificialmente, ma sono quelle presenti in natura o sul campo. Il problema diventa come avere un campione che rappresenti correttamente la popolazione.

 

Per condurre con efficienza e in modo corretto una ricerca ambientale, è utile ricordare i 10 principi generali (per questo chiamati decalogo) che andrebbero seguiti in un’indagine statistica, proposti da Roger Green nel suo testo del 1979 (Sampling Design and Statistical Methods for Environmental Biologist, John Wiley & Sons, New York). Queste indicazioni hanno sollevato critiche tra i colleghi, con la motivazione che nella ampia varietà di situazioni presenti in natura non esiste una schema generale e che ogni statistico esperto sa adattare le regole generali alla situazione sperimentale effettiva al suo contesto. Ma queste “regole” sono utili a un ricercatore alle prime armi, che richiede schemi condivisi per gestire la sua ricerca.

Soprattutto tali regole possono essere utili agli studenti alla fine del corso di statistica, poiché permettono di comprenderne più compiutamente le logiche e le procedure illustrate, alla luce delle loro applicazioni. Seppure con variazioni non banali che richiedono competenze specifiche, sono generalmente applicabili a quasi tutte le discipline biologiche e a molte ricerche mediche o farmacologiche.

 

1 - Formulare in modo conciso e corretto la domanda alla quale si vuole rispondere.  La relazione che si deve presentare sulla ricerca condotta è sempre rivolta ad altri; pertanto, i risultati devono essere comprensibili e coerenti con la domanda.

Si supponga di voler effettuare una ricerca sull’inquinamento in un tratto di fiume, al fine di valutare l’apporto specifico di un affluente. Come primo passo, l’obiettivo può essere espresso in termini di senso comune: “L’affluente causa un danno biologico?” Tale domanda deve essere formulata in modo preciso e quindi occorre studiare anticipatamente i vari aspetti del problema: “L’abbondanza della specie Y nel fiume è più ridotta dopo l’affluente rispetto alla zona precedente?”. Infatti è

- è dal tipo di domanda che deriva il tipo di test (unilaterale o bilaterale) e

- è dal tipo di problema che derivano i dati da raccogliere (quali specie analizzare, quali indicatori di danno biologico rilevare, quali comunità studiare, ...).

Inoltre è importante valutare l’informazione contenuta nel tipo di scala, utilizzato per misurare ogni variabile, poiché esso influenza in modo rilevante la scelta del test (parametrico o non parametrico).

 

2 - Raccogliere repliche dei campioni entro ogni combinazione di tempo, luogo e ogni altro fattore controllato, poiché nella successiva analisi la significatività delle differenze tra i vari livelli dello stesso fattore dipenderà dalla “varianza entro”. Le repliche devono essere mantenute distinte per tutti i fattori, poiché un loro raggruppamento comporta sempre una perdita di informazioni e rende difficile, a volte addirittura impossibile, il ritorno successivo a una loro distinzione e quindi a un uso corretto, tecnicamente e economicamente redditizio, dei dati raccolti.

Può essere produttivo raggruppare i dati. Tuttavia, tale operazione deve avvenire solo dopo la realizzazione delle analisi statistiche programmate a priori. Il raggruppamento dei dati è vantaggioso, quando si vuole estendere il confronto a un’area più ampia o a un livello superiore, allo studio di alcune interazioni, evitando la raccolta di altri dati e quindi un equivalente aumento dei costi o dei tempi.

 

3 - E’ conveniente che il numero di repliche, con scelta casuale delle osservazioni entro ogni combinazione delle variabili controllate, sia uguale in ogni sottogruppo. Costruire campioni bilanciati è un accorgimento che permette di ridurre al minimo le varianze d’errore, a parità del numero di dati raccolti. Inoltre è importante la tecnica di rilevazione o la scelta delle osservazioni: scegliere solo campioni o situazioni ritenuti “rappresentativi” o “tipici” non permette un campionamento casuale e comporta gravi distorsioni nelle conclusioni.

L’assunzione di normalità della distribuzione e quella di indipendenza degli errori possono essere violate non solo dalle caratteristiche del fenomeno, ma anche da un campionamento falsamente casuale dei dati. Ma mentre l’allontanamento dalla normalità può essere sanato con una trasformazione che ricostruisca la condizione di validità del test parametrico, il secondo effetto della scelta non casuale, cioè la non indipendenza degli errori che può essere determinata da un campione non rappresentativo della popolazione, genera una situazione che non può più essere corretta. L’unica possibilità è una nuova raccolta di dati.

Ad esempio, nel caso di un fiume con parti rocciose e altre sabbiose, in aree con un letto diverso possono essere presenti specie diverse o la loro densità variare moltissimo. Differenze rilevanti tra zone limitrofe impongono un campionamento in cui siano presenti tutte le situazioni, cioè i vari strati. In queste condizioni, è utile passare da campionamenti completamente casuali a campionamenti stratificati.

Per alcune analisi, come nella varianza a un solo criterio di classificazione e nella regressione lineare, si possono utilizzare campioni con un numero differente di osservazioni. Per altre, come nell’analisi fattoriale per lo studio delle interazioni, si richiedono campioni bilanciati, poiché trattamenti con un numero diverso di dati determinano interazioni ambigue, difficilmente interpretabili, e “varianze entro” che sono meno omogenee. Nello studio ambientale, è quindi opportuno avere almeno due osservazioni per ogni combinazione dei fattori considerati, mentre la scelta dei siti di campionamento può essere attuata in modo corretto con il ricorso a coordinate estratte da tabelle di numeri casuali.

 

4 - Per verificare se una condizione particolare determina effetti differenti, occorre raccogliere campioni sia in casi in cui la condizione analizzata è presente sia in altri in cui essa è assente, a parità di tutti gli altri fattori (ceteris paribus).

E’ possibile valutare l’effetto di un trattamento solo mediante il confronto con un controllo; soprattutto nelle ricerche di tossicologia o nell’analisi di fattori che operano in condizioni non naturali, in cui la specie analizzata può non riprodursi oppure morire. Sempre con un esempio applicato all’analisi dei corsi d’acqua, per verificare le conseguenze dell’affluente, che può contenere pesticidi, occorre raccogliere campioni anche in un’area a monte dell’affluente, dove non dovrebbero essere presenti o almeno avere una concentrazione nettamente inferiore. Per tutti gli altri fattori non espressamente considerati, le condizioni dei due campioni dovrebbero essere analoghe.

 

5 - Effettuare campionamenti e analisi preliminari, che forniscano le informazioni di base sulle caratteristiche dei dati, per la scelta del disegno sperimentale e dei test statistici da utilizzare. In studi di campagna o in ricerche che non siano già ampiamente descritte in letteratura, l’importanza del campionamento preliminare è sovente sottostimata. Spesso le ricerche sono condotte in tempi ristretti ed è psicologicamente difficile spenderne una parte nel campionamento, in operazioni che potrebbero non fornire dati utili per il rapporto finale. Secondo Green, la situazione è simile a quella dello scultore che inizia un’opera senza avere di fronte un modello di riferimento: è alto il rischio di errori non facilmente riparabili e il tempo impiegato diventa in complesso maggiore.

Il tempo speso nell’analisi preliminare è ampiamente recuperato successivamente. Inoltre, in molti casi, anche il risultato dello studio preliminare può essere incluso nel rapporto finale; spesso è utile alla interpretazione e alla stesura delle conclusioni, rappresentando sempre una esperienza aggiuntiva.

Il motivo fondamentale per ricorrere ad un campionamento preliminare è che non esistono altri modi per evidenziare i gravi problemi che possono insorgere in una ricerca, in particolare se a carattere ambientale e biologico, dove i fattori non prevedibili a priori sono numerosi.

L’efficienza dello schema di campionamento, le dimensioni del campione e il numero di repliche per ottenere la precisione desiderata nelle stime, la possibile presenza di modelli diversi di distribuzione spaziale possono rendere necessario un campionamento stratificato a più livelli, che deve essere definito a priori anche nei particolari. Sono informazioni che spesso possono essere raccolte con un’analisi preliminare o uno studio approfondito della letteratura.

 

6 - Verificare che il metodo di campionamento adottato sia appropriato per tutte le condizioni incontrate: variazioni nell’efficienza del campionamento da un’area all’altra (ad esempio, determinate dalle diverse condizioni del letto o delle sponde del fiume) pregiudicano il confronto tra aree.

Negli studi ambientali, nessuna area è immune da questo problema. Per campionare popolazioni animali, si hanno problemi sul tipo di trappole o sul mezzo di raccolta, sul modo e sull’ora della utilizzazione, sulla taglia degli individui e sulla loro densità, sul periodo di rilevazione che li vede in fasi diverse dello sviluppo o in un momento particolare di migrazione. Non solo possono essere sottostimate intere comunità, ma sovente si hanno campionamenti non corretti e non confrontabili per interi gruppi tassonomici.

Purtroppo, nella ricerca ambientale e biologica non esistono metodi validi per tutte le condizioni. Il campionamento deve quindi essere preparato in modo specifico, finalizzato allo studio che si intende condurre.

 

7 - Per ogni situazione di campionamento, esistono comportamenti che devono essere stabiliti prima dell’inizio della ricerca. Se l’area da campionare presenta situazioni nettamente diversificate, è utile suddividere l’area in sottozone relativamente omogenee e assegnare a esse campioni proporzionali alle loro dimensioni. Se è richiesta una stima dell’abbondanza totale delle specie, è vantaggioso suddividere i campioni in modo proporzionale al numero di organismi presenti in ogni sottozona.

Quando il fondo di un lago è formata in prevalenza da zone rocciose e un’altra da sabbiose, oppure quando un’area è in prevalenza coltivata a prato e un’altra a bosco, un campionamento casuale entro ogni area potrebbe rappresentare un disegno sperimentale molto inefficiente, in quanto indurrebbe ad attribuire le differenze riscontrate al confronto tra esse e non all’influenza della condizione generale di tutta l’area. La presenza di determinate specie e la loro numerosità dipende molto più dalla zona geografica di campionamento (un fiume di montagna o presso lo sbocco al mare, una zona boscosa oltre i mille metri o vicino al litorale) che non dalle differenze tra aree confinanti (prato e bosco limitrofo, prato e duna sabbiosa).

Se dalla letteratura o da un campionamento sperimentale emerge tale contrapposizione, il metodo di campionamento più appropriato è una suddivisione per zone entro ogni area mediante un disegno gerarchico. Con esso è possibile fare emergere la variabilità entro ogni area e individuare il contributo fornito dalle varie zone.

 

8 - Verificare che le dimensioni dell’unità di campionamento siano appropriate al numero di individui, alla densità e alla distribuzione spaziale dei vari organismi che si vogliono analizzare. Il numero di repliche è una funzione della precisione desiderata nelle stime. A tale scopo è importante definire sia l’unità di campionamento che l’elemento del campionamento.

In rapporto alla distribuzione della specie che si intende studiare, l'unità di campionamento è la superficie o il volume (es. la pianta, i centimetri di superficie o i litri di acqua) in cui vivono gli animali che devono essere campionati. In analisi su scala molto ampia, in cui si confrontano le comunità di vari fiumi, potranno essere unità di campionamento il lago, il fiume o il bosco, ed in essi si effettuerà una serie intera di rilevazioni. Se l’oggetto di studio è un fiume, l’unità di campionamento può essere una zona indicata da parametri morfologici o idrometrici.

L'elemento del campionamento è il singolo animale raccolto entro l'unità di campionamento. Occorre non confondere l'unità di campionamento con l'elemento di campionamento, poiché il processo di randomizzazione e le dimensioni del campione oppure il numero di repliche vanno riferite all'unità di campionamento non all'elemento del campionamento.

Scelta l'unità di campionamento, la precisione con cui i parametri ecologici sono stimati dipende dal numero di unità di campionamento, non dal numero di elementi o individui contati, a parità di altre condizioni.

 

9 - Se l’analisi dei dati mostra che la distribuzione degli errori non è omogenea, non è normalmente distribuita o che dipende dalla media, è indispensabile ricorrere alla loro trasformazione o all’uso di test non parametrici; per il tipo di campionamento e la verifica dell’ipotesi nulla, è utile ricorrere ad analisi sequenziali o a dati simulati.

Il dibattito sul rispetto delle condizioni di validità dei test parametrici con dati ambientali è già stato presentato varie volte, senza una conclusione definitiva: per un gruppo di dati reali, quasi certamente le assunzioni di omogeneità e normalità non sono rigorosamente valide; ma quasi sempre sono approssimativamente valide e spesso i test per distribuzioni univariate sono estremamente robusti.

Si allontanano dalla normalità con probabilità maggiori i campioni con pochi dati, formati da gruppi di dimensioni diverse e per ipotesi unilaterali.

I metodi non parametrici sono più frequentemente utili quando sono stati previsti nel piano sperimentale e i dati sono stati raccolti con questa finalità, piuttosto che come operazione di salvataggio di dati non attesi e non trattabili in altro modo.

 

10 - Se sono stati scelti il campionamento e i test statistici più adatti per verificare le ipotesi formulate, occorre accettarne i risultati. Un risultato inatteso o non desiderato non è un motivo valido, per rifiutare il metodo seguito e ricercarne uno “migliore”.

Ogni indagine statistica porta a una conclusione, che può contenere notizie “buone o cattive”: in altri termini, che possono essere in accordo o in disaccordo con quanto atteso. Ma, se non emerge che sono stati commessi errori gravi, tentare di cambiare la conclusione, con ripetizioni dell’esperimento fino ad ottenere la conclusione desiderata, non modifica la realtà e rappresenta un’alterazione della probabilità calcolata. E’ un errore grave sotto l’aspetto statistico, come evidenzia il principio del Bonferroni nei confronti multipli.

 

Come impostare un esperimento richiede conoscenze specifiche in ogni disciplina. Tuttavia, come già introdotto all’inizio del paragrafo, esistono principi generali che è sempre utile conoscere anche nei particolari. Quando si utilizzano dati quantitativi, quindi scale di intervalli o di rapporti come nella maggior parte delle ricerche, i test di significatività della statistica parametrica sono fondati sul rapporto F tra

1 - la varianza dovuta ai fattori sperimentali

2 - e la varianza d’errore, dovuta ai fattori non controllati.

Mentre

- la prima varianza, il numeratore, dipende in buona parte dal fenomeno che si analizza, come la differenza tra gli effetti di due o più farmaci oppure la differenza tra i livelli medi d’inquinamento tra due o più zone, 

- la seconda varianza, il denominatore, essenzialmente dipende dalla capacità del ricercatore nel renderla la minima possibile.

I mezzi per raggiungere questo obiettivo scientifico sono:

- una buona conoscenza della metodologia statistica che si dovrà impiegare,

- la selezione del materiale, adeguato sotto l’aspetto qualitativo e quantitativo,

- il tipo di misura e quindi di scala da utilizzare.

Le conoscenze che si richiedono al ricercatore riguardano 3 metodi:

1 -  il campionamento, cioè come scegliere le unità dalla popolazione per formare il campione;

2 -  il disegno sperimentale, che consiste nello scegliere

- (a)  i fattori sperimentali che si ritengono più importanti, i cosiddetti trattamenti, la cui analisi rappresenta l’oggetto principale della ricerca,

- (b) i fattori sub-sperimentali che in genere rappresentano le condizioni in cui avviene l’esperimento e che possono interagire con quelli sperimentali,

- (c) i fattori casuali, che formeranno la varianza d’errore;

3 -  la stima della potenza del test, per valutare

- (a) quanti dati è utile raccogliere,

- (b) quale è la probabilità che, con l’esperimento effettuato, il test prescelto possa alla fine risultare statisticamente significativo.

Questi tre campi di conoscenza sono ugualmente necessari. Sono diversi, implicano metodi e concetti statistici differenti, ma sono tra loro strettamente collegati e spesso dipendono l’uno dall’altro. In alcuni testi di statistica applicata si illustrano questi concetti affermando che sono tra loro paralleli.