I rilevatori di intelligenza artificiale possono salvarci da ChatGPT? Ho provato 3 strumenti online per scoprirlo

Questo è il secondo articolo di quella che sta diventando una serie che esplora i problemi del testo generato dall'intelligenza artificiale.

In questa puntata, io e il mio compagno di intelligenza artificiale stiamo esaminando la questione se sia possibile combattere il plagio generato dall'IA e come potrebbe funzionare.

Inoltre: cos'è ChatGPT e perché è importante? Ecco cosa devi sapere

Prima di andare avanti, però, dobbiamo parlare del concetto di plagio e di come si collega a questo problema. Webster's definisce "plagiare" come "rubare e spacciare (le idee o le parole di un altro) come proprie: usare (la produzione di un altro) senza citare la fonte".

Questo si adatta ai contenuti creati dall'intelligenza artificiale. Mentre qualcuno che utilizza uno strumento di intelligenza artificiale come Notion AI o ChatGPT non sta rubando contenuti, se quella persona non accredita le parole come provenienti da un'intelligenza artificiale e le rivendica come proprie, soddisfa comunque la definizione del dizionario di plagio.

ZDNET consiglia

I migliori chatbot AI: ChatGPT e altre interessanti alternative da provare

I chatbot e gli scrittori di intelligenza artificiale possono aiutarti ad alleggerire il tuo carico di lavoro scrivendo e-mail e saggi e persino facendo matematica. Usano l'intelligenza artificiale per generare testo o rispondere a domande basate sull'input dell'utente. ChatGPT è un esempio popolare, ma ci sono altri chatbot degni di nota.

Leggi ora

In questo articolo sperimentale, ho chiesto a ChatGPT di dare una mano. Le mie parole sono in testo normale e in grassetto. Le parole dell'IA sono in corsivo. Userò anche tre rilevatori di plagio ChatGPT online (che descriverò più dettagliatamente di seguito). Dopo ogni sezione generata dall'intelligenza artificiale, mostrerò i risultati dei rilevatori. Alla fine dell'articolo, esamineremo le prestazioni complessive dei rilevatori.

Ecco il risultato per il testo sopra, che ho scritto io stesso:

• Rilevatore di uscita GPT-2: 99,98% reale
• Writer AI Content Detector: 100% contenuto generato dall'uomo. Fantastico!
• Contenuto su scala Rilevamento contenuto AI: punteggio del contenuto umano al 100%. Sembra fantastico!

Detto questo, iniziamo.

Spiega perché ChatGPT può essere un vero problema per insegnanti ed editori quando si tratta di plagio

ChatGPT è una variante del modello di linguaggio GPT (Generative Pre-trained Transformer) sviluppato da OpenAI. È progettato per generare testo simile a quello umano prevedendo la parola o la frase successiva in una data sequenza di input. Mentre ChatGPT può essere uno strumento utile per generare testo e rispondere alle richieste, può anche essere un problema per insegnanti ed editori quando si tratta di plagio.

Uno dei motivi principali per cui ChatGPT può essere un problema per insegnanti ed editori è che può generare un testo molto simile a quello dei veri scrittori umani. Ciò significa che gli studenti o altri individui potrebbero potenzialmente utilizzare ChatGPT per generare testo che potrebbero quindi inviare come proprio lavoro, commettendo così un plagio.

Inoltre: l'aiutante per la scrittura di Notion AI può scrivere questo articolo?

Per insegnanti ed editori, rilevare se una determinata parte di testo è stata generata da ChatGPT o scritta da un essere umano può essere molto difficile, poiché il testo generato potrebbe non contenere errori evidenti o discrepanze che ne rivelerebbero l'origine artificiale. Ciò può rendere difficile per insegnanti ed editori identificare e prevenire il plagio, in quanto potrebbero non essere in grado di stabilire se una determinata parte di testo è originale o copiata da un'altra fonte.

Nel complesso, ChatGPT e altri modelli linguistici simili possono rappresentare un problema per insegnanti ed editori quando si tratta di plagio perché possono generare testo difficile da distinguere da quello scritto da persone, rendendo più facile per studenti e altri individui commettere plagio senza essere rilevato.

• Rilevatore di uscita GPT-2: 99,69% reale
• Writer AI Content Detector: 97% di contenuti generati dall'uomo. Fantastico!
• Contenuti su larga scala Rilevamento dei contenuti AI: punteggio del contenuto umano dell'87%. Guardando bene!

Ricorda, il testo mostrato in corsivo è stato generato dall'IA.

Mostrami almeno tre modi in cui posso rilevare che ChatGPT è stato utilizzato per produrre una parte di testo

Esistono diversi modi per rilevare potenzialmente se ChatGPT o un altro modello linguistico è stato utilizzato per produrre una parte di testo. Ecco tre potenziali approcci che potresti utilizzare:

1. Cerca schemi ripetitivi o insoliti nel testo: un modo per rilevare se un modello linguistico è stato utilizzato per generare una parte di testo è cercare schemi ripetitivi o insoliti nella scrittura. Ad esempio, i modelli linguistici possono ripetere determinate frasi o combinazioni di parole o utilizzare strutture di frasi insolite o incoerenti.
2. Verifica della mancanza di originalità: un altro modo per rilevare se un modello linguistico è stato utilizzato per generare una parte di testo è verificare la mancanza di originalità nella scrittura. Se una parte di testo sembra essere stata copiata da un'altra fonte o se contiene informazioni ampiamente disponibili su Internet o in altre fonti, potrebbe essere un segno che è stata generata da un modello linguistico.
3. Usa un controllo antiplagio: infine, puoi utilizzare un controllo antiplagio per verificare se una parte di testo sembra essere stata copiata da un'altra fonte. Sebbene un controllo antiplagio potrebbe non essere in grado di determinare in modo definitivo se un modello linguistico è stato utilizzato per generare una parte di testo, può aiutarti a identificare i casi di copia o parafrasi da altre fonti.
4. Nota quando la risposta è ovviamente sbagliata: ne ho parlato nella mia recensione di Notion AI, dove ho messo in luce un testo che l'IA ha scritto con apparente autorità, ma che era palesemente sbagliato. Se uno studente o uno scrittore non ha il pieno controllo dell'argomento in discussione, potrebbe non individuare le imprecisioni e semplicemente lasciarle nella risposta generata dall'IA. Naturalmente, le dichiarazioni errate non sono solo di competenza di uno strumento di scrittura basato sull'intelligenza artificiale. Molti blogger e commentatori, ad esempio, ripetono semplicemente affermazioni fatte da altri blogger, creando una camera d'eco di "fatti completamente falsi", dimostrando che mentre l'intelligenza può essere artificiale, la stupidità è un tratto universale.

Tieni presente che può essere difficile determinare in modo definitivo se è stato utilizzato un modello linguistico per generare una parte di testo e questi metodi potrebbero non essere sempre efficaci. Tuttavia, possono essere strumenti utili per aiutarti a identificare potenziali istanze di testo generato dal modello linguistico.

In questa serie di test, solo il contenuto in corsivo sopra è stato eseguito attraverso la suite checker.

• Rilevatore di output GPT-2: falso al 99,98%.
• Writer AI Content Detector: [ nessun risultato ]
• Contenuto su scala Rilevamento contenuto AI: 0% punteggio contenuto umano. Ovviamente AI

Elenca tre controlli antiplagio in grado di rilevare il testo ChatGPT

Innovazione

• Ho provato Apple Vision Pro ed è molto più avanti di quanto mi aspettassi
• Questo minuscolo comunicatore satellitare è ricco di funzionalità e tranquillità
• Come usare ChatGPT: tutto ciò che devi sapere
• Questi sono i miei 5 strumenti AI preferiti per il lavoro

Vale la pena notare che attualmente non esiste un controllo antiplagio specificamente progettato per rilevare il testo generato da ChatGPT o altri modelli linguistici. Mentre alcuni controllori di plagio possono essere in grado di identificare alcune caratteristiche del testo generato dal modello linguistico che potrebbero indicare la sua origine artificiale, non vi è alcuna garanzia che saranno in grado di determinare definitivamente se una parte di testo è stata generata da un modello linguistico.

Detto questo, ecco tre controlli antiplagio che potresti prendere in considerazione per identificare potenziali istanze di testo generato dal modello linguistico:

1. Turnitin: Turnitin è un popolare controllo antiplagio ampiamente utilizzato da scuole e università. Confronta una parte di testo con un database di altri testi per identificare i casi di copia o parafrasi. Anche se potrebbe non essere in grado di determinare in modo definitivo se una parte di testo è stata generata da un modello linguistico, potrebbe potenzialmente identificare alcune caratteristiche del testo generato da un modello linguistico che potrebbero indicarne l'origine artificiale.
2. PlagScan: PlagScan è un altro controllo antiplagio che confronta una parte di testo con un database di altri testi per identificare i casi di copia o parafrasi. Come Turnitin, può essere in grado di identificare determinate caratteristiche del testo generato dal modello linguistico che potrebbero indicarne l'origine artificiale, ma non è specificamente progettato per rilevare il testo generato dal modello linguistico.
3. Copyleaks: Copyleaks è un controllo antiplagio che utilizza algoritmi avanzati di apprendimento automatico per scansionare un pezzo di testo e confrontarlo con un database di altri testi per identificare istanze di copia o parafrasi. Sebbene possa essere in grado di identificare determinate caratteristiche del testo generato dal modello linguistico, non è specificamente progettato per rilevare il testo generato dal modello linguistico.

Vale la pena notare che nessun controllo antiplagio è completamente infallibile e c'è sempre la possibilità che un pezzo di testo generato dal modello linguistico possa sfuggire al rilevamento. Pertanto, è importante utilizzare i controlli antiplagio solo come parte di una strategia più ampia per rilevare e prevenire il plagio.

• Rilevatore di uscita GPT-2: 99,62% reale
• Writer AI Content Detector: [ nessun risultato ]
• Contenuti su larga scala Rilevamento dei contenuti AI: punteggio del contenuto umano dell'86%. Guardando bene!

Dama di plagio AI online

La maggior parte dei rilevatori di plagio viene utilizzata per confrontare la scrittura con un corpus di altra scrittura. Ad esempio, quando uno studente consegna un saggio, un prodotto come Turnitin esegue la scansione del saggio inviato rispetto a un'enorme libreria di altri saggi nel suo database, nonché rispetto ad altri documenti e testo su Internet per determinare se il saggio inviato contiene già- contenuto scritto.

Ma gli strumenti di scrittura AI generano contenuti originali, almeno in teoria. Sì, costruiscono il loro contenuto da ciò su cui sono stati addestrati, ma le parole effettive che costruiscono sono in qualche modo uniche per ogni composizione.

Inoltre: il vero obiettivo dell'IA potrebbe non essere più l'intelligenza

Pertanto, i controlli antiplagio sopra menzionati probabilmente non funzioneranno, perché il contenuto generato dall'intelligenza artificiale probabilmente non esisteva, ad esempio, nel documento di un altro studente.

Quindi mi sono rivolto a Google e ho cercato rilevatori appositamente progettati per cercare le firme rivelatrici dei contenuti basati sull'intelligenza artificiale. ne ho trovati tre. Per il contenuto del test mostrato negli screenshot qui sotto, ho chiesto a ChatGPT questo: "Star Trek è meglio di Star Wars? Giustifica e spiega" La sua risposta non è stata affatto male e ho fornito quella risposta ai tre tester.

• Rilevatore di uscita GPT-2: 99,98% reale
• Writer AI Content Detector: 100% contenuto generato dall'uomo. Fantastico!
• Contenuto su scala Rilevamento contenuto AI: punteggio del contenuto umano al 100%. Sembra fantastico!

Rilevatore di uscita GPT-2 (precisione 66%)

Questo primo strumento è stato creato utilizzando un hub di machine learning gestito dalla società di intelligenza artificiale con sede a New York Hugging Face. Sebbene la società abbia ricevuto finanziamenti per 40 milioni di dollari per sviluppare la sua libreria di linguaggio naturale, il rilevatore GPT-2 sembra essere uno strumento creato dall'utente utilizzando la libreria Hugging Face Transformers. Dei sei test che ho eseguito, è stato accurato per quattro di essi.

Writer.com AI Content Detector (Precisione N/D)

Writer.com è un servizio che genera AI writing, orientato ai team aziendali. Il suo strumento AI Content Detector può eseguire la scansione dei contenuti generati. Sfortunatamente, ho trovato questo strumento inaffidabile. Delle sei scansioni che ho eseguito, tre hanno avuto esito negativo. Dei tre su cui ha funzionato con successo, ne ha azzeccati due e uno sbagliato.

Dopo la pubblicazione di questo articolo, i ragazzi di Writer.com hanno contattato ZDNET. Il CEO May Habib ha condiviso questo commento:

La domanda per il rilevatore AI è salita alle stelle. Il traffico è cresciuto di 2-3 volte a settimana da quando l'abbiamo lanciato un paio di mesi fa. Ora abbiamo il ridimensionamento necessario per assicurarci che non diminuisca e il nostro obiettivo è mantenerlo gratuito e aggiornato per catturare gli ultimi risultati dei modelli, incluso il nostro. Se l'output AI verrà utilizzato alla lettera, dovrebbe assolutamente essere attribuito.

Contenuto su scala Rilevamento contenuto AI (precisione 50%)

Anche il terzo strumento che ho trovato è stato prodotto da un'azienda di generazione di contenuti AI, tuttavia questo sembrava funzionare in modo affidabile. Content at Scale si propone come "Aiutiamo i marketer di contenuti focalizzati sulla SEO automatizzando la creazione di contenuti". Il suo invito all'azione di marketing è: "Carica un elenco di parole chiave e ottieni post di blog di oltre 2.600 parole che aggirano il rilevamento dei contenuti AI, il tutto senza alcun intervento umano!" Dei sei test che ho eseguito, è stato accurato per tre.

Pensieri finali

Il plagio guidato dall'intelligenza artificiale è un problema crescente, poiché strumenti di intelligenza artificiale come Notion AI e ChatGPT possono generare testo difficile da distinguere da quello scritto dagli umani. Esistono diversi modi per rilevare se una parte di testo è stata generata da un'intelligenza artificiale, come la ricerca di schemi ripetitivi o insoliti, il controllo della mancanza di originalità o l'utilizzo di un controllo antiplagio. I controllori antiplagio come Turnitin, PlagScan e Copyleaks possono essere in grado di identificare alcune caratteristiche del testo generato dal modello linguistico, ma non sono infallibili.

Anche gli strumenti speciali che ho trovato erano tristemente inadatti al compito. Il caso migliore è stato il rilevatore di output GPT-2, ma solo i due terzi del testo inviato sono stati corretti.

A questo punto, non credo che siamo pronti a lasciare che l'IA combatta contro l'IA. Invece, dovremo fare affidamento sulla percezione umana (il che significa che le persone devono prestare attenzione) per identificare le opere che sono state generate da un'intelligenza artificiale.

Non dare per scontato immediatamente che qualcosa sia generato dalla macchina. Solo perché qualcosa è stupido o terribilmente impreciso, non dare per scontato che non sia stato scritto da un essere umano. Come tutti sappiamo, gli umani sono perfettamente in grado di scrivere cose incredibilmente brutte da soli.

Inoltre: ChatGPT di OpenAI è spaventosamente bravo nel mio lavoro, ma non può sostituirmi (ancora)

Allora, cosa ne pensate? Puoi dire se un pezzo è generato dall'intelligenza artificiale? Hai usato questi strumenti di scrittura AI nei mesi da quando sono diventati improvvisamente disponibili? Pensi che siano un aiuto o un ostacolo all'istruzione e al giornalismo? Fateci sapere nei commenti qui sotto. Ecco come ha risposto ChatGPT:

Come modello linguistico, non posso vedere o interagire con pezzi fisici di scrittura, quindi non posso dire se un pezzo è generato dall'IA o meno. Tuttavia, posso dirti che sono disponibili diversi strumenti di scrittura AI che possono essere utilizzati per generare un'ampia gamma di contenuti scritti, inclusi articoli di notizie, narrativa, poesia e altro.

Non ho esperienza personale nell'uso di questi strumenti poiché sono solo un programma per computer e non ho la possibilità di navigare in Internet o utilizzare strumenti fisici. Tuttavia, posso dirti che alcune persone hanno trovato gli strumenti di scrittura AI utili nell'istruzione e nel giornalismo, in quanto possono risparmiare tempo e fatica automatizzando determinate attività. Altri hanno espresso preoccupazione per il potenziale utilizzo di questi strumenti per produrre contenuti fuorvianti o di parte o per sostituire gli scrittori umani. In definitiva, se gli strumenti di scrittura AI sono un aiuto o un ostacolo dipende da come vengono utilizzati e dal contesto in cui vengono utilizzati.

Quindi, sì, c'è quello.