Negli ultimi anni, i test basati sull’Intelligenza Artificiale (IA) sono passati dall’essere un concetto futuristico a una realtà quotidiana, impiegata in attività che vanno dalla generazione automatica di domande alla valutazione automatizzata e all’acquisizione di competenze.
Al British Council, utilizziamo l’IA per rendere i nostri esami più coinvolgenti e accessibili per chi li sostiene, aiutando a migliorare le loro prestazioni.
Ad esempio, il nostro Primary English Test include un punteggio automatizzato e domande adattive, il che significa che la difficoltà delle domande cambia in tempo reale in base al livello individuale degli studenti. Questo li aiuta a cimentarsi con sfide adeguate al loro livello, evitando che si sentano sopraffatti.
Tuttavia, permangono alcune preoccupazioni etiche, come i bias culturali e algoritmici, la privacy dei dati e il rischio di comportamenti scorretti.
Per approfondire queste tematiche, abbiamo intervistato il nostro esperto di IA, Mariano Felice, Senior Researcher e Data Scientist. Oltre a condurre ricerche e sviluppare valutazioni con IA per il British Council, Felice si occupa anche di insegnamento e valutazione linguistica automatizzata presso l’Università di Cambridge.
Ecco cosa ci ha raccontato.
Test con IA al British Council
In che modo l’IA consente di creare test più autentici, coinvolgenti e interattivi?
Tecnologie come il riconoscimento vocale e la sintesi vocale permettono conversazioni parlate con una macchina, rendendo la valutazione linguistica più naturale. Utilizzando i Large Language Models e chatbot, possiamo anche generare voci artificiali con accenti diversi, così gli studenti possono esercitarsi a comunicare con persone di differenti origini linguistiche. È un ottimo modo per allenare l’ascolto e le abilità comunicative.
Per chi scrive gli item del test, l’IA generativa può velocizzare la creazione dei contenuti, siano essi testi, immagini o video.
Quali sono i vantaggi del punteggio automatizzato con IA?
Innanzitutto, è automatico e veloce, quindi possiamo valutare le prestazioni degli studenti e fornire risultati e feedback in tempi rapidissimi. Possiamo anche valutare simultaneamente un grande numero di partecipanti in diverse località, rendendo gli esami di lingua di alta qualità più accessibili. Infine, possiamo garantire che i risultati siano equi, coerenti e accurati, eliminando di fatto eventuali bias umani.
Quali competenze l’IA valuta meglio?
La scrittura, senza dubbio, perché lavoriamo da più tempo con il testo, che è anche più facile da elaborare rispetto all’audio. Strumenti come tokenizer, tagger e parser sono strumenti che esistono da decenni e funzionano incredibilmente bene, talvolta anche meglio degli esseri umani.
L’audio presenta maggiori sfide tecnologiche. Il riconoscimento vocale richiede modelli più complessi e una notevole potenza di calcolo. Fortunatamente, i recenti modelli di deep learning stanno rivoluzionando il settore, e stiamo assistendo a continui progressi. Speriamo che questo significhi sistemi di valutazione del parlato sempre migliori nei prossimi anni.
Affrontare le sfide dei test con IA
Come prevenire il tentativo di barare nei test AI?
Ci sono varie misure che possiamo adottare. Per esempio, possiamo includere molte caratteristiche diverse nella valutazione, evitando di basarla solo su una o due facilmente manipolabili (come la lunghezza di un tema o l’uso di vocaboli rari). Mi riferisco, ad esempio, a scrivere molto o a usare parole difficili memorizzate appositamente.
In secondo luogo, possiamo modificare i pesi attribuiti a ciascuna caratteristica per cambiarne l’impatto sul punteggio finale. Infine, possiamo implementare meccanismi di rilevamento delle anomalie per identificare schemi insoliti negli input, come parole ripetute o valori estremi, e segnalarli per una revisione umana.
Come affrontate le questioni etiche legate alla valutazione con Intelligenza Artificiale?
Utilizziamo un approccio chiamato Ethics by Design, che implica anticipare i problemi prima che si presentino. I pilastri fondamentali sono: trasparenza; privacy e gestione dei dati; equità; benessere individuale, sociale e ambientale; rispetto dell’autonomia umana; responsabilità e supervisione.
Due ambiti in cui si verificano più spesso problemi sono l’equità e la supervisione umana. L’equità consiste nel ridurre al minimo qualsiasi bias nei confronti di gruppi specifici, come ad esempio studenti che ottengono punteggi più bassi in base alla loro lingua madre o provenienza. Per questo, i nostri dati di addestramento devono includere campioni rappresentativi di una vasta gamma di lingue L1. Inoltre, dobbiamo evitare funzionalità di modello che avvantaggiano gruppi specifici. Test esaustivi sono fondamentali per identificare ed eliminare ogni possibile comportamento scorretto.
Per quanto riguarda la supervisione umana – o la sua assenza – i sistemi con IA non sono infallibili, perciò vanno sempre monitorati. Deve esserci sempre una persona che gestisce il sistema e può annullarne le decisioni, se necessario. Decisioni errate possono avere conseguenze gravi sulla vita delle persone, quindi bisogna evitare automatismi non supervisionati in scenari ad alto impatto.
La chiave è ricordare sempre che la tecnologia è al servizio dei nostri obiettivi di apprendimento, non il contrario. Il nostro approccio è incentrato sull’essere umano e sullo studente, non sulla tecnologia.
Scopri di più sul nostro approccio Ethics by Design in questo video.
Come sviluppiamo i nostri esami con IA
Quale ricerca ha portato allo sviluppo del Primary English Test e degli altri test AI?
Il Primary English Test è stato sviluppato da un team di esperti nella progettazione di test per i più giovani, insieme al gruppo che ha trasformato queste specifiche in una soluzione basata su IA.
Alcune delle principali funzionalità con IA utilizzate nel test includono il punteggio automatizzato e il riconoscimento vocale automatizzato specializzato per comprendere il linguaggio dei bambini. Per ottenere questo risultato, abbiamo creato modelli – cervelli artificiali che imparano a svolgere compiti osservando tantissimi esempi – utilizzando oltre 2000 campioni di studenti da tutto il mondo: una delle nostre più grandi raccolte di dati finora. C’è molto lavoro di riflessione e sperimentazione dietro alla costruzione di questi modelli prima che siano pronti all’uso.
Come e quando coinvolgete gli insegnanti nel processo?
Cerchiamo sempre di coinvolgere tutti gli stakeholder il prima possibile nello sviluppo. Ascoltiamo le esigenze di chi si occupa di insegnare inglese, che si tratti di materiali per esercitarsi in situazioni specifiche o di strumenti per fornire feedback mirati sulle performance. Questo è fondamentale per garantire che i nostri prodotti rispondano davvero alle esigenze del mondo educativo.
Tutti i compiti presenti nei nostri test basati sull’AI vengono sottoposti a un’accurata fase di sperimentazione per verificarne la validità e l’efficacia. Solo dopo la validazione procediamo con la costruzione del prodotto. E anche dopo il lancio, continuiamo a raccogliere feedback dagli utenti per migliorarlo continuamente.
Il nostro è sempre un approccio incentrato sullo studente, pensato per costruire esperienze significative di valutazione linguistica.
Il futuro della valutazione con IA è promettente
Che tu sia un appassionato di tecnologia o un po’ scettico, l’IA nell’istruzione si sta dimostrando uno strumento prezioso per l’apprendimento e la valutazione con Intelligenza Artificiale (IA). Al British Council, ci impegniamo per un utilizzo consapevole e responsabile di questa tecnologia.
Guardando al futuro, è necessaria ancora più ricerca in una gamma più ampia di contesti geografici e livelli per rendere i risultati più generalizzabili. Serve anche una maggiore comprensione delle sfide legate all’IA, della sua efficacia nello sviluppo delle competenze ricettive e dell’impatto a lungo termine degli strumenti di IA sull’apprendimento.
Nel nostro lavoro attuale, ci concentriamo sul miglioramento della qualità dei test e della personalizzazione, sfruttando dati e analisi avanzate. S Stiamo sviluppando modelli basati su caratteristiche linguistiche per aumentare l’accuratezza dei punteggi e la trasparenza nel processo di correzione. Inoltre, stiamo adattando i nostri test AI a nuovi contesti geografici e stiamo esplorando l’uso dei Large Language Models per valutare abilità complesse come la risoluzione di problemi e la competenza interazionale. Siamo fiduciosi che, in futuro, i test basati su AI saranno in grado di valutare in modo preciso tutte e quattro le abilità linguistiche.
Come dice Mariano: «Negli ultimi 10 anni abbiamo fatto più progressi che nei 60 precedenti… Se manteniamo questo ritmo, sono sicuro che l’IA sarà in grado di fare in futuro molte cose che oggi non riesce ancora a fare».