Negli ultimi due anni, ChatGPT (e altri LLM della Generative AI) sono entrati a pieno regime sia nell’educazione universitaria che nei luoghi della produzione di conoscenza scientifica, che ha negli articoli pubblicati su riviste e giornali scientifici il proprio prodotto finale. Diverse opinioni sono state spese sull’avvento di questa tecnologia, ma pochi studi empirici se ne sono davvero occupati. Uno studio di Abbas e colleghi contribuisce a rispondere empiricamente alle mille domande che sorgono da un confronto con questo strumento, e solleva riflessioni urgenti sulle conseguenze del suo uso. Questo articolo è il primo di una serie di due articoli che si concentra su una particolare conseguenza – una negativa e una positiva – degli strumenti della Generative AI sulla ricerca accademica. In questo articolo, esploriamo quella negativa, la pigrizia.
Quando, dal 30 novembre 2022 e nei mesi successivi, abbiamo cominciato a sperimentare l’uso di ChatGPT, una delle prime considerazioni che ha fatto capolino nelle nostre menti è stata certamente l’imbarazzante facilità con cui si sarebbero potuti produrre dei testi scritti. Testi anche di una discreta qualità, e nei più svariati ambiti della scrittura. E in effetti, un utilizzo massivo ne è stato fatto per la generazione di blogpost e comunicati stampa per la comunicazione aziendale, contenuti pensati per la SEO, scrittura di codice informatico, articoli di giornale, traduzione e scrittura di libri… Dopo quasi due anni dal boom della Generative AI, un’opinione condivisa generale che sembra emergere – sia fra i tecnoentusiasti che i defensor fidei della tradizione – è che ChatGPT possa essere certamente un valido strumento di supporto nella scrittura, ma che supervisione del contenuto e creatività (necessari soprattutto per i contenuti complessi e originali) rimangano prerogativa dell’umano. Tuttavia, come ci hanno brillantemente insegnato la psicologia cognitiva e l’economia comportamentale (in particolare a partire dai lavori di Kahnemann e Tversky), l’essere umano è un risparmiatore cognitivo, e laddove può cerca delle “scorciatoie” per raggiungere un risultato, molto spesso, lo fa a spese della qualità e in favore dell’approssimazione. Ora, il lavoro degli algoritmi di Generative AI mira a una simulazione quanto più accurata possibile della produzione testuale degli esseri umani: gli algoritmi di ChatGPT vengono addestrati su un vastissimo dataset di testi e – sulla base di un prompt che specifica la richiesta – generano una risposta utilizzando le informazioni apprese durante l’addestramento. Dunque, un testo prodotto sulla base di informazioni contenute nei testi precedenti, si suppone non essere dotato di una particolare originalità. Per quanto, infatti, la ricombinazione delle informazioni possa essere – effettivamente – originale, è ragionevole aspettarsi che le conclusioni cui giunge il modello siano in qualche modo già contenute implicitamente nei testi analizzati. ChatGPT non “scopre” nulla; ma allora come si sposa con la ricerca scientifica, il luogo per eccellenza della scoperta e della novità, il suo sempre più frequente utilizzo?
Aldilà delle idealizzazioni
Ovviamente, la scienza non è solo un luogo di scoperta e novità. La visione idealizzata dello scienziato, elaborata fra gli altri da Karl Popper e i neopositivisti negli anni ’20 e ’30 del XX secolo, come di un agente critico razionale che mette in atto procedure metodiche standardizzate, volte a scoprire – o almeno ad approssimarsi – al vero e l’oggettivo, è stata ribaltata da approcci più storico-sociologici allo studio della scienza. Questi approcci ne hanno messo in luce il carattere di attività politica, sociale ed economica, dipendente da fondi finanziari, oggetto di controversie teoriche e sperimentali… ma soprattutto di attività pensata, prodotta e messa in atto da esseri umani. Ed è in quanto attività umana che dobbiamo considerarla, alla luce del suo intreccio con la Generative AI.
Un focus specifico: la pigrizia
Le questioni etiche e legali legate all’uso di questa tecnologia in ambito scientifico – e non solo – non si contano sulle dita di due mani: succede sempre così, quando una tecnologia particolarmente innovativa, dalle numerose funzionalità e aperta a un ventaglio di utilizzi altrettanto vasto irrompe in un settore. Una di queste è l’autorship, ossia il problema dell’attribuzione di autorialità di un paper a un attore non umano come il Chatbot, piuttosto che all’essere umano che potrebbe avergli fornito prompt e dati. Alcune review, poi, si sono concentrate su rischi, benefici e potenziali applicazioni dello strumento, trovandone tantissime. Tuttavia – come emerge in questa review del 2023 – la gran parte di questi studi sono fondamentalmente editoriali, riflessioni teoriche. In pochi hanno provato a indagare in modo empirico gli effetti che ChatGPT sta avendo in accademia. E se per quel che riguarda i vantaggi può tranquillamente andar bene affidarsi a editoriali, opinioni, self-report e così via, misurare i rischi effettivi e gli effetti negativi di questa tecnologia è fondamentale per capire come agire a livello di politiche pubbliche, misure educative e regolamentazioni. Uno degli studi più illuminanti in questa direzione è quello svolto da Abbas e colleghi, professori alla National University of Computer and Emerging Sciences in Pakistan. Spinto dall’osservazione in prima persona del largo utilizzo dello strumento da parte dei suoi studenti, Abbas si è dapprima posto domande e dilemmi, poi ha compiuto lo step ulteriore di indagare scientificamente le cause e le conseguenze dell’introduzione di ChatGPT. È pur vero che è giusto e doveroso distinguere fra l’uso che ne può fare uno studente e l’uso che ne può fare un ricercatore, quantomeno per una presunta diversa maturità accademica. Tuttavia, da un lato gli studenti dell’oggi saranno i ricercatori del domani, e dunque uno studio sugli studenti universitari di oggi può avere un valore predittivo rispetto al rapporto che i futuri ricercatori avranno con questo strumento. Dall’altro, le affordance (letteralmente gli “inviti all’uso” delle tecnologie) cui si presta ChatGPT per il supporto nella scrittura scientifica è lo stesso, sia per studenti che ricercatori. Il discorso è valido sia per i paper che gli studenti devono consegnare per gli assignment, che per gli articoli che dottorandi, post-dottorandi e professori devono scrivere per contribuire alla ricerca.
Lo studio è stato condotto in due fasi. Inizialmente, i ricercatori hanno sviluppato e validato una scala per misurare l’uso di ChatGPT da parte degli studenti per scopi accademici (come compiti, progetti o preparazione per gli esami). È stata quindi elaborata una scala comprensiva di 8 item, come: “Uso ChatGPT per i compiti del mio corso”, “Sono dipendente da ChatGPT quando si tratta di studio” e “ChatGPT fa parte della mia vita universitaria”.
Nella seconda fase dello studio, i ricercatori hanno cercato di convalidare i risultati della prima fase testando anche ipotesi specifiche relative all’impatto di ChatGPT. Il campione era composto da 494 studenti universitari, che hanno ricevuto il questionario in tre momenti separati da 1-2 settimane ciascuno. Accanto al questionario sono state indagate delle variabili – precedentemente ipotizzate come influenti – legate all’uso di ChatGPT, visibili in tabella 1:
| Variabile | Scala | Esempio di item |
|---|---|---|
| Carico di studio accademico | Scala di 4 item da Peterson et al. (1995) | “Mi sento sovraccarico a causa dei miei studi.” |
| Pressione del tempo accademico | Scala di 4 item da Dapkus (1985) | “Non ho abbastanza tempo per preparare i progetti di classe.” |
| Sensibilità alle ricompense | Scala di 2 item | “Sono preoccupato per il mio CGPA e Sono preoccupato per i voti del semestre.” |
| Sensibilità alla qualità | Scala di 2 item | “Sono sensibile alla qualità dei miei compiti e Sono preoccupato per i progetti di corso.” |
| Procrastinazione | Scala di 4 item di Choi e Moran (2009) | “Spesso sono in ritardo nel completare le cose.” |
| Perdita di memoria | Scala di 3 item | “Oggigiorno non riesco a mantenere troppe informazioni nella mia mente.” |
| Performance accademica | Misura oggettiva (scala voti GPA da 1 = minimo a 4 = massimo) | Nessun item campione (basato sul CGPA riportato) |
Tabella 1
Abbas e i suoi colleghi hanno scoperto hanno scoperto che gli studenti più “sensibili alle ricompense” (ergo più preoccupati del loro rendimento accademico) erano meno inclini a usare ChatGPT, riportando preoccupazione riguardo all’integrità accademica e alle conseguenze negative potenziali dell’affidarsi all’IA.
Inoltre, lo studio ha rivelato gli effetti negativi dell’uso di ChatGPT sui risultati personali e accademici degli studenti. Un maggiore affidamento a ChatGPT era associato a livelli più elevati di procrastinazione e perdita di memoria e a un impatto negativo sulle prestazioni accademiche, riflesso nella media-voto degli studenti.
I risultati di questo studio possono essere accostati a quelli di analisi computazionali (come quella del bibliotecario Andrew Gray) che rilevano come, dal lancio di ChatGPT, sia cresciuto in modo esponenziale l’uso di alcune parole ed espressioni come “meticulously” (137%), “intricate” (117%), “commendable” (83%) “innovatively” (60%), e “meticulous” (59%), e la sensibile diminuzione di altri. Possono esservi accostati perché, se è vero che ChatGPT può contribuire nella scrittura degli articoli, migliorando la chiarezza e l’esposizione del contenuto, è anche vero che una standardizzazione eccessiva rischia di far perdere originalità di stile, spirito critico e capacità di comunicazione a studenti e ricercatori: e il tutto rientra all’interno di quel grande calderone di atteggiamenti, perdita di competenze e in generale conseguenze negative associabili alla pigrizia.
Tuttavia, il risultato forse più significativo dello studio di Abbas è in questa correlazione: alti livelli di carico di lavoro accademico e pressione del tempo (scadenze brevi e stringenti) sono significativamente correlati all’aumento dell’uso di ChatGPT. In altre parole, gli studenti sotto stress accademico sono più propensi a rivolgersi agli strumenti di AI generativa per ottenere assistenza.
Le considerazioni che si possono fare su ChatGPT sono quindi duplici: se da un lato sicuramente c’è il rischio di un imprigrimento e di un eccessivo affidamento nei confronti di questi strumenti (e qui un discorso morale non può che ricadere primariamente sulla responsabilità degli individui, che ne devono saper fare un uso consapevole), dall’altro suggerisce che ChatGPT potrebbe essere utilizzato per aumentare e velocizzare il numero di pubblicazioni. Non è un tema nuovo quello della pressione alla pubblicazione nel mondo accademico, che viene riassunta nel motto publish or perish, nato in contesto anglosassone. La crescente percezione, a partire dagli stessi ricercatori, della scienza come un processo produttivo da efficientare, potrebbe indurre all’automatizzazione di molti stage del processo di scrittura di un articolo: si pensi alla revisione della letteratura, all’analisi e interpretazione dei dati, alla scrittura di abstract, introduzione, conclusione… Insomma, la scienza si vedrebbe progressivamente ridotta a un processo da organizzare e concepire tayloristicamente, con la qualità a discapito della quantità.
Come ci ha insegnato Bruno Latour, celebre filosofo e sociologo della scienza francese, quando utilizziamo una tecnologia, noi le deleghiamo ciò che potremmo fare da noi: che lo faccia meglio o peggio molto spesso non importa, o non lo possiamo sapere in anticipo. Il cardine meccanico di una porta, che ne consente l’apertura e chiusura automatica, funziona meglio di un apposito portiere (quando c’è) e molto meglio della memoria di migliaia di persone che ogni giorno passano per quella porta e potrebbero dimenticarsi di chiuderla. Tuttavia, se il cardine si inceppa e blocca la porta, lo sforzo per riparare alla situazione è maggiore di quello precedente di chiuderla manualmente.
Così per ChatGPT in ambito accademico: se deleghiamo troppo a questa tecnologia, c’è il rischio di accorgersi di quanto le abbiamo delegato solo troppo tardi, e di quanto sarà difficile riparare a eventuali danni. Sempre se saranno riparabili.
fonte articolo e immagine in coertina: https://www.scienzainrete.it/articolo/luso-di-chatgpt-rende-pigri-ricercatori/lorenzo-perin/2024-09-23
l’Autore: Lorenzo Perin
Nato nel 1999 a Riva del Garda, Lorenzo ha intrapreso il suo percorso accademico con una laurea triennale in Filosofia, completata nel 2021. Attualmente, si trova nel secondo anno del programma di laurea magistrale in Organizzazione, Società e Tecnologia, un percorso di studio incentrato sull’analisi dei rapporti fra scienza, tecnologia e società, che sta integrando con un programma di doppia laurea alla Maastricht University, in Olanda.
Durante il suo percorso universitario, Lorenzo ha avuto diverse esperienze nel campo della comunicazione. Nel suo ultimo anno di triennale, ha contribuito attivamente al giornale universitario “l’Universitario”, gestito interamente da studenti dell’Università di Trento, dove ha redatto, scritto e corretto articoli su temi culturali e scientifici.
Questa esperienza lo ha poi condotto a un tirocinio extracurricolare come content writer presso Tutored (ora Joinrs), una piattaforma digitale dedicata a collegare gli universitari con il mondo del lavoro. Nel febbraio del 2023, ha ampliato ulteriormente le sue competenze nel settore della comunicazione lavorando per UnitrentoMag, il magazine ufficiale dell’Università di Trento, dove ha perfezionato il suo stile giornalistico con il supporto di professionisti del settore.
Attualmente, Lorenzo continua a sviluppare le sue abilità nel campo della comunicazione come parte del suo tirocinio formativo presso l’unità di comunicazione di FBK, dove collabora attivamente dal mese di ottobre del 2023.
