Pedagogia Sperimentale On line - Prof. Roberto Trinchero

Fonti di invalidità della rilevazione

Il principio base di qualunque rilevazione è quello di riuscire ad escludere l’influsso di tutti i fattori di disturbo che agiscono sul fattore in esame, salvo quelli (fattori indipendenti) di cui si vogliono studiare esplicitamente gli effetti sul fattore considerato (fattore indipendente). Se si riesce ad ottenere questa condizione si ha un controllo di ipotesi perfettamente valido e il risultato della ricerca è dotato di validità interna. Nelle ricerche reali il perfetto isolamento dei fattori che ci interessano da quelli che non ci interessano è praticamente impossibile, è possibile operare però in modo da minimizzare gli effetti indesiderati.

Anche la generalizzabilità dei risultati di uno studio (validità esterna) può essere limitata da eventi di disturbo. Le principali minacce alla validità esterna provengono da carenze nella rappresentatività del campione su cui è stata condotta la ricerca, in relazione alla popolazione o all'ambiente al quale si vogliono applicarne i risultati. A queste distorsioni si rimedia con un campionamento accurato. Occorre notare come abbia senso prendere in considerazione le minacce alla validità esterna solo quando ci si è assicurati che siano stati soddisfatti i requisiti di validità interna Si può avere infatti validità interna senza validità esterna ma non viceversa.

Le principali minacce alla validità e attendibilità di una rilevazione sono:

Effetto Hawtorne	La presenza di un estraneo in un dato contesto educativo (ad esempio la classe) può dare ai soggetti la consapevolezza di essere osservati, e questo può influire sul loro comportamento. Questo effetto viene denominato effetto Hawtorne: i soggetti della ricerca possono sentirsi “osservati” o “gratificati” dal fatto stesso di essere stati prescelti come oggetto di indagine e quindi reagire negativamente o positivamente, ma comunque comportandosi in modo diverso da come si comportano di solito.
Effetto storia	Con effetto storia ci si riferisce agli eventi che avvengono nell'ambiente in cui si conduce la ricerca o durante l'esperimento, ad esempio problemi di assegnazione delle cattedre, scioperi, eventi imprevisti.
Effetto maturazione	La rilevazione su soggetti in età evolutiva può risentire della maturazione dei soggetti durante la rilevazione stessa, e questo incide soprattutto nel caso di ricerche longitudinali, ossia che prevedono più rilevazioni nel tempo.
Effetto rilevazione	Detto anche effetto misurazione o effetto testing. Ogni rilevazione ha degli effetti di perturbazione sul fenomeno osservato. Un alunno quando si sente osservato dal docente tende ad acquisire una condotta più consona a quelle che ritiene le attese dell'insegnante. Una prova di profitto richiama l'attenzione dello studente su particolari contenuti e lo stimola a rivederli in seguito. L'esperienza di un particolare tipo di prova (es. prova oggettiva di profitto) può facilitare gli esiti in prove successive, ecc. Nella ricerca per esperimento possibile determinare l'influenza dovuta al “testing” con il piano sperimentale a quattro gruppi.
Effetto strumentazione	Lo strumento di valutazione deve essere stabile nelle sue rilevazioni. Un valutatore diventa man mano più esperto e analitico nella correzione di prove non oggettive, oppure può essere affaticato dopo aver corretto molte prove consecutive. Questo fa sì che il “metro” di correzione non sia lo stesso per tutte le prove. Gli osservatori e gli intervistatori possono cambiare criteri durante la rilevazione dei dati (ad esempio diventano via via più esperti) o influenzare i dati raccolti sulla base delle ipotesi di partenza.
Effetto selezione	La scelta dei soggetti sui quali condurre la ricerca può influenzare gli esiti. Ad esempio se si propone ai docenti di una scuola di aderire o meno ad una innovazione o sperimentazione, probabilmente saranno i più motivati a rispondere positivamente, e questo influirà sui risultati. La selezione casuale del campione minimizza l’effetto selezione.
Effetto regressione	La probabilità di trovare esiti eccezionali ossia fuori dalla norma, positivamente o negativamente, è bassa. Ad esempio è raro trovare studenti con una grandissima o scarsissima creatività. Si dice che statisticamente i dati tendono a concentrarsi intorno alla media, ossia a regredire verso la media e questo effetto è più evidente se gli indicatori con cui viene effettuata la rilevazione non sono perfettamente correlati tra di loro.
Effetto perdita	Nelle ricerche che durano molto tempo può succedere che i soggetti abbandonino il campione studiato (o il gruppo sperimentale/di controllo), soprattutto nei casi di innovazioni ed esperimenti. Ad esempio è facile che, a causa dell'aggravio di lavoro, i docenti rinuncino a proseguire una sperimentazione.
Effetto osservatore	L’influenza dei tratti di personalità dell'osservatore può influire sui comportamenti del soggetto osservato e quindi sulla rilevazione. La capacità di cogliere più aspetti di una situazione, di dipanare le ambiguità, di affrontare la complessità delle situazioni e la propria flessibilità cognitiva, la sua capacità di tenere sotto controllo i propri meccanismi attributivi, le proprie credenze e pregiudizi e i propri meccanismi di selezione a priori dei fatti che osserva, sono caratteristiche che minimizzano le distorsioni prodotte dall’osservatore nella rilevazione. Un ulteriore rimedio è il ricorso all’osservazione completamente strutturata.
Interferenza di trattamenti o rilevazioni multiple	Può accadere quando si somministrano più trattamenti o quando si vogliono rilevare più fattori contemporaneamente, utilizzando strumenti diversi. Ad esempio, se ad un gruppo frequentante dei corsi di formazione sono stati somministrati molti questionari di soddisfazione sui corsi, gli ultimi questionari compilati possono essere considerati delle ripetizioni di cose già chieste (anche se in effetti non lo sono) e non ricevere la dovuta attenzione.
Effetti di novità e di interruzione	Si ha un effetto novità quando l’introduzione ad esempio di un programma di insegnamento che fa uso di tecnologie informatiche provoca migliori risultati non per la bontà del programma in sé ma per l’accresciuta motivazione dovuta all’innovazione tecnologica. Si ha un effetto interruzione quando un nuovo metodo di insegnamento dà inizialmente risultati deludenti per la scarsa dimestichezza che hanno gli insegnanti con tale metodo. Il rischio è quindi quello di scartarlo prematuramente sena valutare che una accresciuta dimestichezza degli insegnanti avrebbe potuto portare in futuro a risultati positivi.
Effetto Pigmalione	Si ha quando le aspettative che un osservatore ha su un soggetto influenzano i comportamenti del soggetto stesso, che tenderà ad adeguarsi alle aspettative che l’osservatore ha su di lui. Se, ad esempio, l’insegnante pensa che Marco sia un allievo bravo e intelligente e lo tratta come tale, Marco ne diverrà consapevole, si sentirà valorizzato e questo influirà positivamente sul suo profitto scolastico, accadrà il contrario se l’insegnante pensa che Marco non sia in grado di riuscire a scuola e lo tratta in modo conseguente.
Effetto di alone	Si ha effetto alone quando le caratteristiche di un tratto di personalità del soggetto influenzano la rilevazione di altri tratti, ad esempio quando il docente è inconsapevolmente convinto che “se Marco è bravo in matematica, italiano e storia allora dovrebbe essere bravo anche in geografia”, a prescindere dalla prestazione effettivamente offerta in quella materia.
Incostanza del metro di valutazione	Nelle rilevazioni seguite dalla formulazione di un giudizio valutativo, se il valutatore cambia metro di rilevazione nel tempo (o non ricorda il metro usato per le rilevazioni precedenti) i risultati ottenuti non si possono considerare comparabili tra di loro e quindi la valutazione è inattendibile. Analoga incomparabilità sussiste se la valutazione viene svolta da due o più valutatori con metri diversi. L’attenersi dei valutatori a criteri stabili, condivisi e dichiarati in modo esplicito, la correzione delle stesse prove da parte di più valutatori e la revisione reciproca delle correzioni dei valutatori sono possibili soluzioni a questo problema.
Effetto interazione	Più di uno di questi fattori possono essere presenti contemporaneamente. Per evitare il sommarsi di più fattori invalidanti è necessario intervenire controllando i singoli fattori.