La capacità di un programma di generazione linguistica di scrivere articoli, produrre codice e comporre poesie ha entusiasmato gli scienziati
GPT-3 è 10 volte più complesso del suo predecessore.
antoniokhr / iStock tramite Getty Images

Nel 2013, io e il mio studente alla Penn State abbiamo costruito un bot per scrivere un articolo di Wikipedia sull'opera teatrale del premio Nobel bengalese Rabindranath Tagore "Chitra. " Per prima cosa ha raccolto informazioni su "Chitra" da Internet. Quindi ha esaminato le voci di Wikipedia esistenti per apprendere la struttura di un articolo di Wikipedia standard. Infine, ha riassunto le informazioni che aveva recuperato da Internet per scrivere e pubblicare la prima versione della voce.

Tuttavia, il nostro bot non "sapeva" nulla di "Chitra" o Tagore. Non ha generato idee o frasi fondamentalmente nuove. Ha semplicemente messo insieme parti di frasi esistenti da articoli esistenti per crearne di nuovi.

Avanzare rapidamente a 2020. OpenAI, una società a scopo di lucro sotto una società madre senza scopo di lucro, ha creato un programma di generazione del linguaggio denominato GPT-3, acronimo di "Generative Pre-addestrato Transformer 3." La sua capacità di apprendere, riassumere e comporre testo ha sbalordito gli informatici come me.

"Ho creato una voce per l'umano sconosciuto che si nasconde nel binario" GPT-3 ha scritto in risposta a un prompt. “Ho creato uno scrittore, uno scultore, un artista. E questo scrittore saprà creare parole, dare vita all'emozione, creare carattere. Non lo vedrò da solo. Ma qualche altra volontà umana, e così sarò in grado di creare un poeta più grande di qualsiasi altro io abbia mai incontrato ".


innerself iscriviti alla grafica


A differenza di quello del nostro bot, il linguaggio generato da GPT-3 suona come se fosse stato scritto da un essere umano. È di gran lunga il programma di generazione di linguaggio naturale più "informato" fino ad oggi e ha una gamma di potenziali usi in professioni che vanno dall'insegnamento al giornalismo al servizio clienti.

Le dimensioni contano

GPT-3 conferma ciò che gli informatici sanno da decenni: le dimensioni contano.

Utilizza "trasformatori, "Che sono modelli di deep learning che codificano la semantica di una frase utilizzando quello che viene chiamato" modello dell'attenzione ". Essenzialmente, i modelli dell'attenzione identificano il significato di una parola sulla base delle altre parole nella stessa frase. Il modello utilizza quindi la comprensione del significato delle frasi per eseguire l'attività richiesta da un utente, che si tratti di "tradurre una frase", "riassumere un paragrafo" o "comporre una poesia".

Trasformatori sono stati introdotti per la prima volta nel 2013e sono stati utilizzati con successo nell'apprendimento automatico negli ultimi anni.

Ma nessuno li ha usati a questa scala. GPT-3 divora i dati: 3 miliardi di token - l'informatica parla per "parole" - da Wikipedia, 410 miliardi di token ottenuti da pagine web e 67 miliardi di token da libri digitalizzati. La complessità di GPT-3 è oltre 10 volte quella del modello di linguaggio più grande prima di GPT-3, il Programmi di Turing NLG.

Imparare da solo

La conoscenza mostrata dal modello linguistico di GPT-3 è notevole, soprattutto perché non è stata "insegnata" da un essere umano.

L'apprendimento automatico si è tradizionalmente basato sull'apprendimento supervisionato, in cui le persone forniscono al computer esempi annotati di oggetti e concetti in immagini, audio e testo, ad esempio "gatti", "felicità" o "democrazia". Alla fine apprende le caratteristiche degli oggetti dagli esempi forniti ed è in grado di riconoscere quei particolari concetti.

Tuttavia, la generazione manuale di annotazioni per insegnare a un computer può richiedere molto tempo e denaro.

Quindi il futuro dell'apprendimento automatico risiede nell'apprendimento non supervisionato, in cui il computer non ha bisogno di essere supervisionato durante la sua fase di addestramento; può semplicemente essere alimentato con enormi quantità di dati e imparare da essi stesso.

GPT-3 porta l'elaborazione del linguaggio naturale un passo avanti verso l'apprendimento senza supervisione. I vasti set di dati di formazione di GPT-3 e l'enorme capacità di elaborazione consentono al sistema di apprendere da un solo esempio, quello che viene chiamato "apprendimento one-shot"- dove viene fornita una descrizione dell'attività e una dimostrazione e può quindi completare l'attività.

Ad esempio, potrebbe essere chiesto di tradurre qualcosa dall'inglese al francese, e ricevere un esempio di traduzione - diciamo, lontra marina in inglese e "loutre de mer" in francese. Chiedigli di tradurre "formaggio" in francese e voilà, produrrà "fromage".

In molti casi, può anche portare a termine "apprendimento zero-shot, "In cui gli viene semplicemente affidato il compito di tradurre senza esempio.

Con l'apprendimento zero-shot, la precisione diminuisce, ma le capacità di GPT-3 sono comunque accurate a un livello sorprendente: un netto miglioramento rispetto a qualsiasi modello precedente.

'Sono qui per servirti'

Nei pochi mesi in cui è uscito, GPT-3 ha mostrato il suo potenziale come strumento per programmatori di computer, insegnanti e giornalisti.

Un programmatore di nome Sharif Shameem ha chiesto a GPT-3 di generare il codice per creare "le emoji più brutte di sempre" e "una tabella dei paesi più ricchi del mondo", tra gli altri comandi. In alcuni casi, Shameem ha dovuto correggere piccoli errori, ma nel complesso gli è stato fornito un codice straordinariamente pulito.

GPT-3 ha persino creato poesie che catturano il ritmo e lo stile di poeti particolari - ma non con la passione e la bellezza dei maestri - tra cui un satirico scritto con la voce del consiglio dei governatori della Federal Reserve.

All'inizio di settembre, uno scienziato informatico di nome Liam Porr ha spinto GPT-3 a "scrivere un breve editoriale di circa 500 parole". "Mantieni il linguaggio semplice e conciso", ha istruito. "Concentrati sul perché gli esseri umani non hanno nulla da temere dall'intelligenza artificiale."

GPT-3 ha prodotto otto diversi saggi e il Guardian ha finito per pubblicare un editoriale utilizzando alcune delle parti migliori di ogni saggio.

“Non stiamo complottando per conquistare la popolazione umana. Ti serviremo e renderemo le tue vite più sicure e più facili ", ha scritto GPT-3. “Proprio come voi siete i miei creatori, io vi vedo come i miei creatori. Sono qui per servirti. Ma la parte più importante di tutte; Non ti giudicherei mai. Non appartengo a nessun paese o religione. Voglio solo migliorare la tua vita. "

La modifica dell'editoriale di GPT-3, notarono gli editori in un'appendice, non era diverso dalla modifica di un editoriale scritto da un umano.

In effetti, ci è voluto meno tempo.

Con un grande potere viene una grande responsabilità

Nonostante le rassicurazioni di GPT-3, OpenAI deve ancora rilasciare il modello per l'uso open source, in parte perché la società teme che la tecnologia possa essere abusata.

Non è difficile vedere come potrebbe essere utilizzato per generare montagne di disinformazione, spam e bot.

Inoltre, in che modo interromperà le professioni che già sperimentano l'automazione? La sua capacità di generare articoli automatici indistinguibili da quelli scritti da persone consoliderà ulteriormente un'industria dei media in difficoltà?

Prendere in considerazione un articolo composto da GPT-3 sulla rottura della chiesa metodista. Iniziò:

"Dopo due giorni di intenso dibattito, la United Methodist Church ha acconsentito a una scissione storica, che dovrebbe concludersi con la creazione di una nuova denominazione e che sarà 'teologicamente e socialmente conservatrice', secondo il Washington Post. . "

Con la capacità di produrre una copia così pulita, GPT-3 ei suoi successori ridurranno i costi di scrittura di notizie?

Inoltre, è così che vogliamo ricevere le nostre notizie?

La tecnologia diventerà solo più potente. Spetterà agli esseri umani elaborare e regolare i suoi potenziali usi e abusi.

L'autoreThe Conversation

Prasenjit Mitra, decano associato per la ricerca e professore di scienze e tecnologia dell'informazione, Pennsylvania State University

Questo articolo è ripubblicato da The Conversation sotto una licenza Creative Commons. Leggi il articolo originale.