ChatGPT ha sostenuto un esame MBA. Ecco come è andata

Un professore della Wharton, University of Pennsylvania, ha dato un passaggio teorico di livello B a ChatGPT dopo aver contrassegnato le risposte che ha generato per un esame finale in un tipico corso MBA.

Christian Terwiesch, professore di gestione delle operazioni presso Wharton, ha affermato che ChatGPT svolge un "lavoro straordinario nella gestione delle operazioni di base e nelle domande di analisi dei processi".

"Non solo le risposte sono corrette, ma le spiegazioni sono eccellenti", scrive in un nuovo white paper.

Inoltre: come iniziare a utilizzare ChatGPT

Ma ha aggiunto che il chatbot commette "errori sorprendenti in calcoli relativamente semplici a livello di matematica di prima media" e che attualmente non è in grado di gestire domande di analisi di processo più avanzate. D'altra parte, l'attuale versione di ChatGPT può modificare le sue risposte in risposta ai suggerimenti umani per arrivare alla soluzione corretta.

"Considerando questa prestazione, Chat GPT3 avrebbe ricevuto un voto da B a B all'esame", scrive Terwiesch.

Molte delle domande di Terwiesch miravano a verificare se ChatGPT potesse identificare un collo di bottiglia in un'operazione di elaborazione con più macchine con diverse capacità di throughput.

ChatGPT, tuttavia, "ha commesso un errore significativo di enorme entità" durante il calcolo con aritmetica di medio livello.

È interessante notare che ChatGPT inizialmente ha risposto in modo errato a una delle domande di Terwiesch sull'analisi delle code. Lo ha suggerito con un suggerimento per una risposta migliore e ChatGPT ha migliorato la sua risposta. Il giorno seguente, il professore gli ha posto la stessa domanda iniziale in coda senza il suggerimento e ChatGPT ha risposto correttamente al primo tentativo.

"O è in grado di imparare dai feedback passati o sono stato solo fortunato", osserva, aggiungendo che sembrava esserci una certa casualità nella qualità delle sue risposte.

Terwiesch ha anche scoperto che ChatGPT era in grado di formulare domande intelligenti e divertenti che avrebbe potuto utilizzare negli esami futuri. Tuttavia, il chatbot ha anche introdotto sottili difetti in alcune domande che hanno reso impossibile rispondere.

Inoltre: ChatGPT "mancava di profondità e intuizione", affermano prestigiosi editori di riviste scientifiche

Terwiesch avverte gli altri di essere consapevoli delle capacità e dei limiti di ChatGPT. Dice di essersi "innamorato" di ChatGPT dopo aver letto la risposta alla sua prima domanda, ma avverte che "ha commesso gravi errori in alcune situazioni abbastanza semplici".

"Siamo ancora lontani da un A + per problemi complessi e abbiamo ancora bisogno di un essere umano nel giro", scrive.

"Secondo la mia visione dell'istruzione, uno studente delle scuole elementari deve ancora imparare che 7 x 7 = 49 e che la capitale della Pennsylvania è Harrisburg, anche se le calcolatrici sono ampiamente utilizzate da oltre 50 anni e gli studenti possono utilizzare Google Wikipedia per trovare le risposte per la maggior parte delle domande fattuali. È nella natura delle abilità fondamentali che sono necessarie per comprendere argomenti più avanzati."

Terwiesch concorda sul fatto che gli educatori dovrebbero preoccuparsi del fatto che gli studenti K-12 possano utilizzare ChatGPT per barare su compiti ed esami. Ad esempio, il Dipartimento dell'Istruzione della città di New York ha recentemente vietato il chatbot perché i test affidabili sono importanti nell'insegnamento, mentre la certificazione delle competenze non dovrebbe essere compromessa a causa delle nuove tecnologie. Uno studente che utilizza ChatGPT è come poter chiamare un amico con "competenza accademica media" per completare l'esame per loro, osserva.

Ma sostiene anche che ChatGPT e tecnologie simili hanno la capacità di svolgere il ruolo di un "consulente intelligente", uno che produce risposte eleganti ma spesso sbagliate, che ritiene sia il "campo di allenamento perfetto" per sviluppare competenze tra gli studenti MBA che hanno bisogno valutare criticamente le alternative suggerite.