« Pre-trained language models » : historique des versions

Aller à la navigation Aller à la recherche

Sélection du diff : cochez les boutons radio des versions à comparer et appuyez sur entrée ou sur le bouton en bas.
Légende : (actu) = différence avec la dernière version, (diff) = différence avec la version précédente, m = modification mineure.

27 avril 2023

  • actudiff 14:4427 avril 2023 à 14:44‎ Jboscher discussion contributions‎ 1 080 octets +1 080‎ Page créée avec « Les auteurs de "A Survey of Large Language Models" distinguent les "Pre-trained language models (PLM)" des Large language models (LLM). ELMo et BERT appartiendraient à la 1ère catégorie, un peu comme les pionniers des LLM. As an early attempt, ELMo was proposed to capture context-aware word representations by first pre-training a bidirectional LSTM (biLSTM) network (instead of learning fixed word representations) and then fine-tuning the biLSTM network acco... »
Récupérée de « http://wiki.backprop.fr/index.php?title=Pre-trained_language_models »