Google va già oltre BERT e presenta ELECTRA

[alepom]

Google va già oltre BERT e presenta ELECTRA

I recenti miglioramenti nella fase di pre-training hanno portato ad un grande miglioramento in ambito NLP (Natural Language Processing) con modelli come BERT e T5.

Questi metodi sfruttano una grande quantità di testo per creare un modello generale di comprensione del linguaggio che poi viene utilizzato in attività come la sentiment analysis e sistemi di Q&A.

Oggi Google presenta ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately), che adotta un approccio diverso al pre-training riuscendo ad ottenere le capacità di BERT ma con una fase di apprendimento più efficiente!

Ad esempio, ELECTRA corrisponde alle prestazioni di RoBERTa e XLNet sul benchmark GLUE per la comprensione del linguaggio naturale, ma utilizza meno di ¼ della potenza di calcolo e ottiene risultati all'avanguardia sullo SQuAD benchmark di risposta alle domande.

Il post di Google: https://ai.googleblog.com/2020/03/more-efficient-nlp-model-pre-training.html

Quello della comprensione del linguaggio naturale è un settore in fermento continuo, che sta facendo davvero passi da gigante in brevissimo tempo!

[giorgiotave]

Sembra interessante, ma si può già provare concretamente?