• Moderatore

    Google va già oltre BERT e presenta ELECTRA

    I recenti miglioramenti nella fase di pre-training hanno portato ad un grande miglioramento in ambito NLP (Natural Language Processing) con modelli come BERT e T5.

    Questi metodi sfruttano una grande quantità di testo per creare un modello generale di comprensione del linguaggio che poi viene utilizzato in attività come la sentiment analysis e sistemi di Q&A.

    Oggi Google presenta ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately), che adotta un approccio diverso al pre-training riuscendo ad ottenere le capacità di BERT ma con una fase di apprendimento più efficiente!

    Ad esempio, ELECTRA corrisponde alle prestazioni di RoBERTa e XLNet sul benchmark GLUE per la comprensione del linguaggio naturale, ma utilizza meno di ¼ della potenza di calcolo e ottiene risultati all'avanguardia sullo SQuAD benchmark di risposta alle domande.

    Il post di Google: https://ai.googleblog.com/2020/03/more-efficient-nlp-model-pre-training.html

    Quello della comprensione del linguaggio naturale è un settore in fermento continuo, che sta facendo davvero passi da gigante in brevissimo tempo!


  • Community Manager

    Sembra interessante, ma si può già provare concretamente?