LA REGRESSIONE LINEARE MODELLO II  E LEAST-PRODUCTS.

IL CONFRONTO TRA DUE METODI QUANTITATIVI.

 

 

 

 

24.11  LA RIPETIBILITA’ E LA RIPRODUCIBILITA’ DI UNO STRUMENTO O DI UN METODO: RANGE & AVERAGE METHOD

 

 

Quando si vogliono confrontare due metodi analitici, come nei paragrafi precedenti, è preliminarmente richiesto che lo strumento (in linguaggio tecnico, gage o device) e l’operatore (appraiser) siano attendibili, vale a dire che nelle stesse condizioni forniscano sempre la stessa risposta o almeno risposte simili.

Lo strumento può essere un micrometro, un termometro, un manometro o qualsiasi dispositivo di analisi e misura.  La quantità rilevata può riguardare la dimensione di un prodotto, la concentrazione di un principio attivo in un farmaco, il risultato di un’analisi clinica di un paziente.

La valutazione dei dati raccolti deve riguardare contemporaneamente sia l’analisi statistica, sia l’importanza disciplinare che le variazioni assumono nel problema affrontato, per decidere se sono importanti oppure trascurabili per i loro effetti pratici.

 

Inoltre, l’analisi della variabilità determinata da uno strumento o da un operatore è importante per se stessa. Quando si analizza una misura o una intera serie allo scopo di prendere decisioni, come può essere la prescrizione della cura per un paziente o la qualità di un prodotto da porre in vendita, occorre sapere quale credito attribuire ad esse. Quindi  è fondamentale determinare la quantità di variazione dovuta al processo, che dipende sia dallo strumento impiegato che dal tecnico.

Affinché la misura sia credibile, è senso comune che la variazione strumentale deve essere contenuta entro valori chiamati limiti di tolleranza (ricordando che i limiti di tolleranza riguardano le singole misure, mentre i limiti di confidenza o limiti fiduciali riguardano le medie); pertanto

-  le differenze tra strumenti devono essere trascurabili,

- operatori diversi devono fornire dati simili sullo stesso campione e quindi commettere errori di dimensioni analoghe ,quando utilizzano lo stesso strumento.

La variazione tra strumenti (gage o device) è chiamata ripetibilità (repetability).

La variazione tra operatori (appraisers) è chiamata riproducibilità (riproducibility).

Possono essere combinate insieme, formando un indicatore unico: la R&R, che somma la variabilità dovuta allo strumento a quella determinata dall’operatore o attribuibile ad altra condizione ambientale, se non mantenuta costante.

La R&R  non comprende tutti i fattori di variazione.

 

Insieme con la ripetibilità allo strumento possono essere attribuiti altri tre tipi di variazione:

-  la calibrazione (calibration): lo strumento deve essere accurato, cioè essere tarato esattamente;

-  la stabilità (stability): la taratura non deve cambiare nel tempo;

-  la linearità (linearity): l’errore deve avere dimensioni uguali dai valori piccoli a quelli grandi, mantenendosi costante in tutto il campo di variazione delle misure effettuate.

Il fatto che l’analisi statistica R&R li trascuri, non significa che essi non siano importanti. Semplicemente, il loro impatto viene ritenuto meno significativo.

 

La ripetibilità (repeatability) è l’accordo tra i risultati di misure effettuate in condizioni omogenee, ripetute con lo stesso strumento e/o nelle medesime situazioni sperimentali sullo stesso soggetto. E’ un parametro fondamentale nel confronto tra metodologie di analisi chimiche e/o cliniche, che è sempre necessario quantificare. Infatti,

- quando la ripetibilità di un metodo è bassa anche il livello di accordo (agreement) possibile tra due metodi è basso.

Se poi entrambi i metodi hanno varianza grande e quindi bassa ripetibilità, il confronto tra metodi è realizzato nelle condizioni peggiori: è poco probabile che si riesca a dimostrare che tra essi esiste un grado di agreement accettabile.

 

La riproducibilità (reproducibility) è l’accordo tra i risultati di misure effettuate in condizioni differenti, quindi da un operatore diverso e/o con uno strumento e/o in un laboratorio e/o in tempi differenti. L’aumento della variabilità determina una diminuzione anche della riproducibilità.

 

Come verrà approfondito, mediante l’applicazione di un’ANOVA a un criterio,

-  la ripetibilità è misurata dalla varianza entro,

- la riproducibilità è misurata dalla varianza tra.

Nei capitoli introduttivi, si è parlato della accuratezza e della precisione che una misura campionaria deve avere, per permettere di stimare il valore vero della variabile. Sono concetti differenti dalla ripetibilità e dalla riproducibilità; ma l’accuratezza (accurate, calibrated gage) è analoga alla taratura,  mentre la precisione (precise, capable operator) è analoga alla ripetibilità.

 

Come evidenziato nella figura precedente, in termini matematici

- la varianza R&R è la somma della varianza di ripetibilità più la varianza di riproducibilità:

- la varianza della riproducibilità è maggiore di quella della riproducibilità, come di norma nell’ANOVA la varianza tra è maggiore della varianza entro.

 

I modi statistici per valutare la ripetibilità e la riproducibilità di un metodo analitico, quando la prova non è distruttiva del campione e quindi può essere ripetuta, sono sostanzialmente tre:

1 – il metodo della media generale e della differenza (average and range method),

2 – il metodo della variazione parziale (within part variation (WIV) method),

3 – l’analisi della varianza (Analysis Of Variance).

I primi due sono illustrati in questo paragrafo, il terzo in un paragrafo successivo.

Per misurare (A) la  repeatability,  (B) la reproducibility e (C) la R&R di uno strumento o di un metodo di analisi, in caso di prove non distruttive e quindi ripetibili sullo stesso oggetto, l’esperimento standard raccomandato dagli organismi internazionali addetti al Controllo di Qualità richiede

-  un numero di campioni (parts, units) compreso tra 5 e  10,

-  un numero di operatori (appraisers) costante e pari a 3,

-  un numero di prove  o ripetizioni (trials, replications) da 2 a 3.

 

 

Per illustrare questa procedura statistica, si assuma che un metodo analitico sia stato sperimentato da tre operatori, ognuno dei quali ha effettuato due prove, sugli stessi dieci campioni, ottenendo i valori riportati nella tabella precedente.

 

La prima elaborazione richiede di

-  calcolare la differenza, che misura l’ampiezza della risposta (range) tra le due prove eseguite dallo stesso operatore, per ognuno dei 10 campioni (le tre colonne , in grassetto e corsivo).

Si ottengono 30 differenze , che devono essere considerate in valore assoluto.

 

 

 

 

Su esse,

-   calcolare la  media generale o totale  che, con i dati dell’esempio,

è

 =

 

A – L’intervallo di Repeatability

 è

 dove

-   è la costante del Processo Sigma, legata alla distribuzione normale delle differenze e al livello di probabilità del 99%: -2,575 < Z < +2,575

-   è la media generale di tutte le differenze  tra coppie di prove

-   è il valore riportato nella tabella sottostante dopo aver definito (1) Z e (2) W, con

1)   Z = numero di differenze  =  campioni x operatori (parts x appraisers)

2)  W = numero di prove (nel caso più semplice, come in questo, è uguale a 2)

 

 

Valori di

 

 

Con i dati dell’esempio, dove

-   = 5,1833 

-   = 1,128 (per Z > 15 e W = 2)

 si ottiene l’intervallo al 99% della Ripetibilità:

 

 

Concettualmente, la ripetibilità è riferita alla variazione presente nelle misure, effettuate da uno stesso operatore, con lo stesso strumento o metodo analitico sul medesimo campione.

Come attuata nell’esempio,

- la stima della ripetibilità è fondata sulla media delle differenze di misure ripetute in condizioni identiche, adoperando lo stesso strumento o metodo su più campioni.

Se, come in questo caso, sono impiegati più operatori, la media delle differenze  è calcolata come media degli operatori.

 

Con tre operatori (A, B, C),

 

La deviazione standard  della ripetibilità è

 

L’intervallo al 99% della ripetibilità (-2,575 <Z < +2,575, ricordando che per convezione si fa riferimento sempre a questa percentuale del 99% e quindi al valore 5,15)

è

 

B – L’intervallo di Reproducibility del sistema

 è

 dove

-   = media delle differenze tra l’operatore con la media maggiore e quello con la media minore in tutte le misure eseguite (per capire correttamente la procedure è utile vedere l’esempio successivo),

-     è fornito dalla tabella precedente, con Z = 1 (costante) e W = numero di operatori (appraisers),

-   = numero di campioni (parts),

-   = numero di prove o repliche (trials)

 

Per calcolare , dapprima si devono confrontare le medie dei tre operatori, già calcolate nella prima tabella di elaborazione dei dati:

A = 85,5           B = 82,9          C = 88,9

 

Con i dati dell’esempio, emerge che

-  la media minore è quella dell’operatore B

-  la media maggiore è quella dell’operatore C

 quindi tra essi esiste la differenza maggiore.

Successivamente, si devono

-  calcolare, in valore assoluto, tutte le differenze (range)  tra le  misure effettuate da questi due operatori:

 

 

 

 

-  calcolare la loro media

- individuare il valore  = 1,91 (vedi tabella, con Z = 1  e  W = 3)

 

Con questi dati, si calcola la Reproducibility o intervallo di riproducibilità del sistema,

 che è

 

 

 

 

Concettualmente, la riproducibilità valuta la differenza tra le medie di misure ottenute da operatori differenti, ma che impiegano lo stesso strumento o metodo sui medesimi campioni.

Se l’operatore che utilizza lo strumento è solamente uno, non vi è riproducibilità, poiché è ovvio che non si ha variazione tra operatori. Una stima della riproducibilità è ricavata dalla media  di tutte le misure  fatte da ogni operatore.

 

Con tre operatori (A, B, C) la media

 è

 

L’intervallo di variazione  di un operatore  è ottenuto

- sottraendo la media minima  alla media massima

 

La deviazione standard della riproducibilità è

 

L’intervallo al 99% della riproducibilità (-2,715 <Z < +2,715)

è

 

Nel calcolo dell’intervallo di variazione della riproducibilità, come evidenziato nella formula precedente, è compresa la quota

 dove

-   = numero di campioni (parts),

-   = numero di prove o repliche (trials)

 

Il motivo logico di questa correzione (sinonimo di sottrazione) è che per stimare la riproducibilità, che è fondata sulle differenze tra le medie di due o più operatori, è necessario utilizzare tutte le misure da essi effettuate. Pertanto, la stima della riproducibilità deve essere diminuita della parte che dipende dalla variazione dovuta a ogni operatore (ripetabilità).

 

 

C - Da questi due parametri, si ricava un terzo indicatore:

-  la System  Repeatability and Reproducibility R&R

 con

 

Con i dati dell’esempio, si ottiene

 

 

 

D  - Un quarto indicatore è la variability, che comprende

 

1 -  la part variability

 dove

-    = è differenza tra la media maggiore e la media minore di tutti gli  campioni (parts)

-    è fornito dalla tabella precedente, con Z = 1 e W = numero di campioni (parts),

 

2 -  la total variability

 

Con i dati dell’esempio (come evidenziato nella tabella successiva),

-  dapprima si ricavano le medie delle 6 analisi (3 operatori x 2 prove) per tutti i 10 campioni impiegati nell’esperimento.

Successivamente si individuano

-  quella maggiore  = 103,97 (la media generale del campione 10)

-  quella minore  = 59,72 (la media generale del campione 5)

- per ottenere la loro differenza

 

 

 

 

Successivamente, con  = 3,18 (vedi tabella, con Z = 1  e  W = 10)

 si ricavano 

- la part variability

 

-  la total variability che somma gli effetti di R&R e della part variability