«HAI LETTO QUESTO STUDIO?» - CONSIGLI PRATICI PER VALUTARE SE UNA RICERCA È AFFIDABILE - di GIULIO CIRULLI (INTERNET)

INTERNET 

 

Giulio Cirulli

 

“Hai letto questo studio?” – Consigli pratici per valutare se una ricerca è affidabile

 

 

Quante volte avete sentito la frase “Hai letto questo studio dell’Università degli Studi della Marsica e del Basso Abruzzo in cui si dice che mangiare 100 g al giorno di Cioccolata cura la depressione?”

La maggior parte delle volte che qualcuno ha un’opinione più o meno al limite del cospirazionismo o che ha superato abbondantemente e viaggia nell’Iperuranio del complottismo dice la fatidica frase “Hai letto questo studio…?”.

Citare uno studio è probabilmente il sistema migliore per validare le proprie posizioni, eppure sottende un enorme problema di fondo:

 

LA SELEZIONE DELLE FONTI.

 

Questo perché non tutti gli studi accademici sono validi allo stesso modo e nemmeno gli studi dello stesso autore lo sono.

Quello che spesso non si dice è che quello della ricerca è un mondo spietato in cui i “rubinetti” del denaro a favore degli studi posso chiudersi molto velocemente in quelle ricerche dove magari venivano pompati milioni di dollari (o qualsiasi altra valuta) e il giorno dopo potrebbero ritrovarsi senza l’ombra di un soldo, sicché i ricercatori si ritrovano a dover pubblicare articoli di continuo anche dal dubbio valore scientifico.

Ma andiamo con ordine.

 

In questo articolo mi vorrei focalizzare su 4 elementi importanti per comprendere per cui la frase “Hai letto questo studio…” è problematica:

-Le riviste predatorie

-L’H Index

-Il P Value

-Bias

 

Riviste predatorie

Come detto, nell’introduzione dell’articolo spesso pur di non vedere le loro carriere distrutte i ricercatori sono costretti a pubblicare articoli di continuo anche senza aver fatto studi rigorosi, il problema è che le riviste prestigiose come possono essere Nature o Lancet e similari hanno una pletora di studiosi e statistici che verificano ogni singolo elemento dello studio al fine di verificare che nessuno abbia scritto scempiaggini come “2+2=9”.

In questa situazione come fa uno scienziato a pubblicare spesso e senza “rotture di scatole”? Semplice.

Le riviste predatorie, delle riviste “scientifiche” che accettano ogni singolo articolo ricevuto e che lo pubblicano senza alcun problema o verifica anche se al suo interno sono scritte le peggiori castronerie come “2+2=9”. L’unico prerequisito dello studio è che chi lo abbia svolto sia disposto a pagare pur di vederselo pubblicato.

Non sono rari i casi di scienziati che abbiano pubblicato articoli scherzo pur di dimostrare che una determinata rivista sia un bel raccoglitore di studi spazzatura.

Nel marzo del 2020 in piena pandemia da Coronavirus sulla rivista “American Journal of Biomedica Science & Research” è stato pubblicato un articolo che mette in relazione l’out break da Covid19 e le carni infette di alcuni Zubat.

 

Ora i più giovani di voi o chi ha dei figli con un’età compresa fra i 20 e i 40 anni potrebbe aver drizzato le orecchie su Zubat.

Zubat, infatti, è un Pokemon della prima generazione dall’aspetto di pipistrello.

 

Questo articolo nello specifico fu uno di questi articoli scritti da scienziati burloni per mettere in ridicolo queste deprecabili riviste che inquinano il panorama scientifico.

 

Tra scienziati burloni, ricercatori in “buona fede” che pur di non perdere il lavoro e ricercatori senza scrupoli pronti a tutto pur di guadagnare denaro e fama queste riviste predatorie sono un vero e proprio disastro perché permettono alla qualsiasi di poter dimostrare che il cielo sia Marrone perché “Hai letto questo studio? Dimostra che il cielo è marrone come ho sempre detto!”

 

H Index

L’H Index è definito così:

 

Uno scienziato possiede un indice h se h dei suoi N_p lavori hanno almeno h citazioni ciascuno e i rimanenti (N_p – h) lavori hanno ognuno al più h citazioni.[1]

 

Ciò significa che chi pubblica molto e viene molto citato ha un H Index maggiore, conseguentemente sarà considerato più appetibile da un ente di ricerca durante la fase di assunzione.

Di base l’H Index ha lo scopo di dare una misura di quanto uno studio sia influente.

Ovviamente più un articolo verrà citato più avrà per quella scienza un impatto maggiore, pensate alla teoria della relatività, fondamentalmente ogni articolo che si sia occupato di cosmologia di sicuro in qualche punto lo citerà.

 

Questo Indice però non tiene conto del fatto che certe citazioni sono effettuate per dare contesto all’articolo e in altri casi lo stesso autore potrebbe citare i suoi lavori precedenti pur di alzare il suo Indice.

 

P-Value

Arriviamo alla parte complicata dell’articolo, quella dove la matematica e la statistica fanno capolino.

Posto che di base l’H Index è uno strumento tutto sommato buono e che può aiutarci a capire se un dato autore (sulla carta) ha una voce in capitolo non indifferente, lo strumento migliore se un dato studio è tutto sommato affidabile è il P-Value.

 

Ma prima di parlare di P-Value dobbiamo parlare di Distribuzione Statistica e Distribuzione Gaussiana o Normale.

 

La distribuzione in matematica è un concetto legato a quello di funzione[2].

In probabilità (e quindi poi in statistica) la distribuzione è una funzione continua che descrive la probabilità che un dato evento casuale si verifichi all’interno di una serie di eventi ripetuti.

Per esempio: “Tirando infinite volte due dadi a 6 facce quali sono le probabilità di ottenere un valore compreso fra 2 e 6?”, il numero di volte che uscirà uno dei valori compresi tra 2 e 6 rappresenta la nostra distribuzione, calcolando la funzione e poi il suo integrale[3] nel dato intervallo otterremo il nostro risultato.

 

Esistono diversi tipi di distribuzione ma quello senza ombra di dubbio più comune e importante è la distribuzione normale o gaussiana.

Sono certo che vi sarà capitato di vedere la curva a campana di Gauss, bene, quella curva rappresenta  la distribuzione più comune all’interno di una statistica di popolazione (es: L’altezza o il peso di una popolazione molto grande) o la probabilità che una coppia di dadi a 6 facce ottenga un valore compreso fra 2 e 6 (facendo i dovuti calcoli e conoscendo la distribuzione normale diremo che la probabilità in questo caso è del 41,7%).[4]

 

Arriviamo dunque al nostro P-Value.

Il P-Value indica il valore atteso affinché l’ipotesi nulla sia rifiutata.

Che significa? Significa sostanzialmente che il risultato che verifica la nostra ipotesi di partenza non è dovuto a errori di campionamento statistico o ad eventi casuali. Quindi si fissa un valore detto  (o valore di significatività statistica) e si osserva la distribuzione dei dati campionati questo sarà il nostro P-Value.Nel caso in cui p allora il nostro esperimento è statisticamente significativo in quanto ben campionato[5], se si verifica invece che p allora l’ipotesi nulla è vera e l’ipotesi dell’esperimento non è significativa dal punto di vista statistico.

 

Facciamo un esempio

Diciamo di avere un nuovo farmaco che cura la calvizie, dividiamo la popolazione esaminata in persone che prendono il farmaco (ipotesi dell’esperimento) e persone che prendono il placebo (ipotesi nulla), alla fine dell’esperimento vediamo che chi ha preso il farmaco ha perso meno capelli o non ha più perso capelli, mentre il gruppo di controllo ha perso capelli come prima. Perfetto abbiamo trovato il farmaco.

Non necessariamente, a questo punto gli statistici del gruppo di ricerca studiano le distribuzioni e osservano il P-value e , fatti i loro calcoli e loro studi sovrappongono le distribuzioni e se queste distribuzioni non si sovrappongono o lo fanno per valori inferiori ad  allora non sono stati commessi errori nell’esperimento e il risultato è valido mentre qualora vi sia una sovrapposizione totale o superiore a valori di  vi sono stati errori di campionamento o eventi legati al caso (magari chi è finito nel gruppo che ha ricevuto il farmaco non perdeva molti capelli in partenza o magari perde più capelli in situazioni di forte stress e durante l’esperimento non è stato particolarmente stressato, insomma scegliete voi la causa).

 

Arriviamo però ai problemi del nostro P-Value, intanto non esiste un P-Value univoco per tutti i casi.

Mi spiego meglio non è che fissiamo il P-Value per tutti gli esperimenti alla stessa maniera ossia ad esempio P-Value=0,0000005, significa che  è pari a 5 centimilionesimi percentuali, ossia solo 5 volte su 100.000.000, ma in base all’ambito di ricerca e dal ricercatore viene fissato , ad esempio nelle scienze dure (come Matematica[6], Fisica e Chimica) il valore   tende ad essere considerato estremamente basso in quanto si può lavorare con metodi statistici già in partenza, mentre in scienze applicate (come Biologia, Ingegneria, Medicina etc.) il valore di  generalmente viene considerato più alto.

 

Vi faccio un esempio. Nonostante per questa rivista generalmente parlo di argomenti legati alla matematica e in questo caso specifico di statistica, ho una laurea in fisioterapia e svolgo tale professione.

Durante la mia laurea triennale ho dovuto sostenere due esami legati alla statistica, in quello più pratico la consegna per l’esame era quella di leggere e studiare un articolo scientifico riguardante un sistema di terapia, nel mio caso specifico un articolo dedicato ai metodi propriocettivi per la cura delle distorsioni di caviglia.

Benissimo, l’articolo in questione dimostrava che questi metodi erano più efficaci di altri sistemi per il trattamento delle distorsioni, infatti il P-Value<, dove =0,05 ossia 5 millesimi percentuali.

 

 

Bias

 

E arriviamo all’ultimo punto del perché “Hai letto questo studio…” è una frase problematica.

I Bias sono una serie di meccanismi psicologici definibili come Dissonanze Cognitive per cui tendiamo a “leggere” male la realtà che ci circonda, ne esistono di molti tipi ma per gli obiettivi di questo articolo ci interessa sapere che esistono e che cosa sono sommariamente.

 

Spesso certe ricerche non hanno nessun legame coi precedenti punti del nostro articolo ma comunque sono pessime ricerche perché hanno il difetto di essere colpite da molti e gravi bias.

Tornando all’articolo scientifico oggetto del mio esame, ad esempio, c’erano almeno 3 grossi bias:

- Il campione statistico.

- Il tipo di persone reclutate.

- L’aderenza alla terapia.

Posto che nel caso specifico era garantito un doppio cieco[7] il campione statistico era molto ridotto circa 20-25 persone, le persone reclutate erano prevalentemente sportivi, non sappiamo se i pazienti effettuassero le terapie prescritte per casa senza la supervisione del fisioterapista.

Essendo il campione così ridotto è difficilmente rappresentativo di una popolazione inoltre per tutta una serie di motivi che vi risparmio gli sportivi tendono a recuperare più in fretta delle persone sedentarie nel caso di infortuni di pertinenza ortopedica e muscolare e infine spesso e volentieri in caso di infortuni non gravi dell’apparato muscoloscheletrico l’esercizio terapeutico in solitaria del paziente è fondamentale per un corretto recupero (tenendo conto che un fisioterapista si occupa del paziente per circa 1h massimo 2 a seduta e le sedute generalmente sono svolte da 1-2 volte la settimana).

 

Nel caso specifico questi sono situazioni difficilmente aggirabili e che esulano dalla volontà dello sperimentatore, ma in altri casi lo sperimentatore pur di dimostrare di aver ragione applica i bias in maniera attiva.

Per esempio, scartando i risultati che confutano la propria ipotesi, o selezionando una popolazione più sensibile (vedi a esempio gli sportivi di cui sopra), o ancora “annacquando” i risultati negativi con dati falsi che confermino l’ipotesi.

 

In conclusione, cosa possiamo fare per ritenere un articolo scientifico o una ricerca affidabile?

Intanto vedere il suo p-value, la rivista che lo ha pubblicato e vederne l’affidabilità su internet, il punteggio (in ambito medico, ad esempio, gli articoli hanno un punteggio da A+ sino a D-, dove A+ sono gli studi affidabili e D- gli articoli prossimi alla letteratura fantasy) e se sembra troppo bello per essere vero probabilmente è troppo bello per essere vero.

In ultima istanza, verificare l’esistenza di meta-analisi, ossia studi secondari che raggruppano un numero molto ampio di studi effettuati riguardanti un determinato risultato e dopo un complicato sistema di leve e specchi determina un risultato univoco a livello statistico che ci restituirà un risultato più “liscio” e meno invaso da rumore di fondo, purtroppo è un metodo quantitativo che soffre del cosiddetto effetto “Garbage-in Garbage-Out” (spazzatura dentro-spazzatura fuori) in sostanza se dentro ci finiscono solo articoli spazzatura anche la meta-analisi sarà spazzatura.

 

Purtroppo, non abbiamo la sicurezza matematica che “Secondo l’Università degli studi Marsicana e del Basso Abruzzo mangiare ogni giorno 100 g di cioccolato cura la depressione” ma abbiamo ottimi mezzi statistici per dire “Mangiare 100 g al giorno di cioccolato faranno venire i brufoli ma col pane ci stanno da Dio”.

Ciò che possiamo fare è solo cercare di non credere automaticamente a ogni studio che confermi le nostre convinzioni e magari fare un po’ di indagine su chi è l’autore,  nonché dove e come un articolo è stato pubblicato.

---

[1]h è l’indice, N_p il numero di pubblicazioni.

[2]ossia una relazione che connette due o più insiemi in maniera che per ogni elemento dell’insieme di partenza corrisponda uno e uno solo dell’insieme di arrivo, non necessariamente è valido il contrario.

[3]In questo caso la definizione più utile e semplice di integrale è quella “geometrico analitica” ossia “L’Integrale è l’area sottesa dalla curva che descrive la funzione”, ossia l’area di grafico tra la linea e l’asse x del grafico.

[4]Il singolo valore più atteso in un lancio di 2 dadi a 6 facce è 7, pari al 16,7%, e questo è il motivo per cui nei casinò se si gioca a dadi 7 è il tiro con cui si perde tutto e il banco vince.

[5]per valori prossimi o uguali ad  è comunque preferibile ripetere l’esperimento o ricontrollare i dati in quanto potrebbero essere stati commessi errori.

[6]In Filosofia della Scienza si discute molto sul fatto che la Matematica sia da considerare una scienza oppure no.

[7]Nel caso specifico i pazienti e gli statistici ignoravano di quale gruppo facessero parte i dati raccolti

GIULIO CIRULLI 

 BIONOTA 

Romano di Roma, appassionato di scienze, matematica, storia romana, medievale e storia delle

religioni. Non prende nulla seriamente se non le cose serie: Carbonara, Scienze e Numeri.

Diplomato all’istituto agrario e laureato in fisioterapia, insomma, braccia riabilitate per l’agricoltura.