Plausibilmente la notizia vi è già arrivata (altrimenti potete leggerla su Repubblica o sul Corriere): il risultato degli ultimi testi dell’Invalsi (Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione) è che i ragazzi di terza media del mezzogiorno hanno risultati migliori di quelli del centro e addirittura di quelli del nord Italia. La cosa puzza un po’ (dato che cozza con tutti gli altri dati che abbiamo a disposizione) e infatti, andando ad analizzare un po’ meglio i dati, vien fuori che una larga fetta dei test svolti al sud sarebbero copiati. In pratica gli insegnanti avrebbero aiutato gli alunni in modo da far ottenere loro punteggi più alti. Preso atto di questo all’Invalsi hanno fatto un po’ di analisi statistiche (Repubblica si riempie la bocca con termini complicati come Hard Clustering o Fuzzy Logic ma dubito fortemente che il giornalista in questione abbia una vaga idea di cosa sta parlando) per correggere le varie furberie et voilà la classifica si ribalta rimettendo gli studenti del nord al primo posto.

Ora io non voglio fare una discussione sulle ragioni politiche/sociali/economiche delle differenze nord/sud nè parlare della responsabilità degli studenti. Non ne avrei le competenze (se volete però potete leggervi il lunghissimo rapporto dell’Invalsi o la discussione su nFA). Vorrei invece spendere due parole sull’uso delle metodologie statistiche che mi pare essere passata un po’ in secondo piano ma che a me ha fatto accapponare la pelle.

Io il rapporto dell’Invalsi non l’ho letto (troppo lungo) ma da quel che si evince dai giornali la sequenza degli eventi è stata di questo tipo: l’Invalsi ha preparato il test, il test è stato effettuato da un certo numero (rappresentativo) di studenti, l’Invalsi ha analizzato i risultati ed ha visto che le cose andavano decisamente in modo diverso da quello che si sarebbero aspettati. Allora hanno riffato l’analisi utilizzando dei metodi statistici diversi e plausibilmente più raffinati ottenendo un risultato in linea con le previsioni e lo hanno pubblicato.

Dov’è l’errore? L’errore (grosso come una casa) è che NON è lecito nella maniera più assoluta scegliere a posteriori che tipo di analisi si farà sui dati. Queste scelte vanno fatte TUTTE a priori altrimenti il rischio di introdurre, coscienti o meno, un bias è fortissimo. Nel mondo scientifico cambiare la tecnica di analisi per far collimare i dati alle proprie aspettative si chiama frode e quando uno viene beccato a fare una cosa del genere si gioca la reputazione e (nei paesi seri, non in Italia) anche il posto di lavoro.

Allora cosa dovevano fare all’Invalsi? Intanto avrebbero dovuto prevedere che un certo numero di copiature e furberie ci sarebbero state (previsione non difficile da fare) e approntare prima delle tecniche di analisi dei dati che permettessero di individuare cose di questo genere e di eliminarle. Lo hanno fatto? Non lo so (magari a leggersi con attenzione il loro rapporto lo si scoprirebbe) ma l’impressione che viene leggendo gli articoli sui giornali è di no. E allora? Cosa fare dei dati una volta che ci è resi conto che sono falsati dalle copiature e che non abbiamo preventivato un metodo per correggere queste cose? Semplice, fare come fanno tutti gli scienziati quando si trovano in una situazione del genere: dichiarare i dati inaffidabili e ripetere l’esperimento (magari stavolta in maniera più intelligente). Se l’esperimento non può essere ripetuto (magari perché troppo costoso) farne a meno e far tesoro dell’esperienza per la prossima volta

Questo è quello che si sarebbe dovuto fare per mantenere il rigore scientifico di questo test. Se non è stato fatto allora l’unica conclusione che posso trarne è che le 180 e passa pagine del rapporto dell’invalsi sono poco più che carta straccia.