Contributions de Jboscher
Aller à la navigation
Aller à la recherche
27 avril 2023
- 16:4027 avril 2023 à 16:40 diff hist +51 In-context learning Aucun résumé des modifications actuelle Balise : Révocation manuelle
- 16:4027 avril 2023 à 16:40 diff hist −51 In-context learning Aucun résumé des modifications Balise : Révoqué
- 16:3827 avril 2023 à 16:38 diff hist +111 In-context learning Aucun résumé des modifications
- 16:3627 avril 2023 à 16:36 diff hist +110 N Fichier:Capture d’écran 2023-04-27 à 18.32.50.png A comparative illustration of in-context learning (ICL) and chain-of-thought (CoT) prompting actuelle
- 16:3527 avril 2023 à 16:35 diff hist +460 N In-context learning Page créée avec « [1] The in-context learning (ICL) ability is formally introduced by GPT-3 : assuming that the language model has been provided with a natural language instruction and/or several task demonstrations, it can generate the expected output for the test instances by completing the word sequence of input text, without requiring additional training or gradient update == Références == * [https://arxiv.org/pdf/2303.18223.pdf] A Survey of Large Language Models »
- 16:2327 avril 2023 à 16:23 diff hist +331 Emergent Abilities of Large Language Models Aucun résumé des modifications actuelle
- 15:5827 avril 2023 à 15:58 diff hist +13 Emergent Abilities of Large Language Models Aucun résumé des modifications
- 15:3927 avril 2023 à 15:39 diff hist +1 239 N Emergent Abilities of Large Language Models Page créée avec « On entend par "Emergent Abilities of Large Language Models" une capacité présente dans un LLM qui ne se retrouve pas dans un modèle similaire mais plus petit. Ce qui veut dire aussi qu'on ne peut pas prévoir (extrapoler) cette nouvelle capacité uniquement à partir de celles d'un modèle plus petit. [1] We consider an ability to be emergent if it is not present in smaller models but is present in larger models. Although scaling is mainly conducted in mode... »
- 14:5327 avril 2023 à 14:53 diff hist +226 Pre-trained language models Aucun résumé des modifications actuelle
- 14:4427 avril 2023 à 14:44 diff hist +1 080 N Pre-trained language models Page créée avec « Les auteurs de "A Survey of Large Language Models" distinguent les "Pre-trained language models (PLM)" des Large language models (LLM). ELMo et BERT appartiendraient à la 1ère catégorie, un peu comme les pionniers des LLM. As an early attempt, ELMo was proposed to capture context-aware word representations by first pre-training a bidirectional LSTM (biLSTM) network (instead of learning fixed word representations) and then fine-tuning the biLSTM network acco... »
- 13:3127 avril 2023 à 13:31 diff hist +31 N Fichier:Cropped-LogoBackPropTrans-2.png Logo BackProp actuelle
- 13:2927 avril 2023 à 13:29 diff hist +39 N Fichier:Shamentality artificial intelligence beautiful textures and ter 545b2bf2-aece-4268-b49e-78dee7f78862.png AI logo by MidJourney actuelle
22 janvier 2023
- 21:5922 janvier 2023 à 21:59 diff hist +83 N Reinforcement Learning from Human Feedback Page créée avec « Reinforcement Learning from Human Feedback (RLHF) https://huggingface.co/blog/rlhf » actuelle
12 janvier 2023
- 16:2112 janvier 2023 à 16:21 diff hist +124 CLIP Aucun résumé des modifications actuelle
10 janvier 2023
- 16:2610 janvier 2023 à 16:26 diff hist −9 CLIP Aucun résumé des modifications
- 16:2610 janvier 2023 à 16:26 diff hist −8 CLIP Aucun résumé des modifications
- 16:2110 janvier 2023 à 16:21 diff hist +32 CLIP Aucun résumé des modifications Balise : Révocation manuelle
- 15:5510 janvier 2023 à 15:55 diff hist −7 CLIP Aucun résumé des modifications Balise : Révoqué
- 15:5510 janvier 2023 à 15:55 diff hist −25 CLIP Aucun résumé des modifications Balise : Révoqué
- 15:5410 janvier 2023 à 15:54 diff hist −37 CLIP Aucun résumé des modifications
- 15:5410 janvier 2023 à 15:54 diff hist +38 CLIP Aucun résumé des modifications
- 15:5310 janvier 2023 à 15:53 diff hist −8 CLIP Aucun résumé des modifications
- 15:5210 janvier 2023 à 15:52 diff hist +16 CLIP Aucun résumé des modifications
- 15:5110 janvier 2023 à 15:51 diff hist −2 CLIP Aucun résumé des modifications
- 15:4310 janvier 2023 à 15:43 diff hist +73 CLIP Aucun résumé des modifications
- 15:4010 janvier 2023 à 15:40 diff hist +211 CLIP Aucun résumé des modifications
- 15:3910 janvier 2023 à 15:39 diff hist +183 CLIP Aucun résumé des modifications
- 14:2310 janvier 2023 à 14:23 diff hist +494 N Classifier Free Guidance Page créée avec « By default, the model doesn't often do what we ask. If we want it to follow the prompt better, we use a hack called CFG. There's a good explanation in this video (AI coffee break GLIDE). In the code, this comes down to us doing: noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_text - noise_pred_uncond) This works suprisingly well :) Explore changing the guidance_scale in the code above and see how this affects the results. How high can you push it be... » actuelle
5 janvier 2023
- 13:545 janvier 2023 à 13:54 diff hist +513 N Dreambooth Page créée avec « Dreambooth is a kind of fine-tuning that attempts to introduce new subjects by providing just a few images of the new subject. The goal is similar to that of Textual Inversion, but the process is different. Instead of creating a new token as Textual Inversion does, we select an existing token in the vocabulary (usually a rarely used one), and fine-tune the model for a few hundred steps to bring that token close to the images we provide. This is a regular fine-tun... » actuelle
- 13:355 janvier 2023 à 13:35 diff hist +321 Textual Inversion Aucun résumé des modifications actuelle
4 janvier 2023
- 09:134 janvier 2023 à 09:13 diff hist +378 Generative model Aucun résumé des modifications actuelle
- 09:044 janvier 2023 à 09:04 diff hist +29 Generative model Aucun résumé des modifications
- 09:024 janvier 2023 à 09:02 diff hist +212 N Generative model Page créée avec « « A generative model describes how a dataset is generated, in terms of a probabilistic model. By sampling from this model, we are able to generate new data. » Extrait de Generative Deep Learning David Foster »
13 décembre 2022
- 09:1113 décembre 2022 à 09:11 diff hist +251 N Tesla A100 Page créée avec « D'après Nvidia : The A100 80GB debuts the world’s fastest memory bandwidth at over 2 terabytes per second (TB/s) to run the largest models and datasets. le A100 est beaucoup plus rapide que le V100 https://www.nvidia.com/en-us/data-center/a100/ » actuelle
- 09:0613 décembre 2022 à 09:06 diff hist +196 N Tesla V100 Page créée avec « Tesla V100 est nettement moins performant que le A100. Voir le benchmark de Lambda sur le sujet : A100 Vs V100 Deep Learning Benchmarks https://lambdalabs.com/blog/nvidia-a100-vs-v100-benchmarks » actuelle
8 décembre 2022
- 09:298 décembre 2022 à 09:29 diff hist +91 Textual Inversion Aucun résumé des modifications
- 09:288 décembre 2022 à 09:28 diff hist +360 N Textual Inversion Page créée avec « Textual Inversion est défini de la façon suivante : "We learn to generate specific concepts, like personal objects or artistic styles, by describing them using new "words" in the embedding space of pre-trained text-to-image models. These can be used in new sentences, just like any other word." == Références == * [https://textual-inversion.github.io] »
8 novembre 2022
- 17:188 novembre 2022 à 17:18 diff hist +215 CLIP Aucun résumé des modifications
- 17:088 novembre 2022 à 17:08 diff hist +15 CLIP Aucun résumé des modifications
- 16:498 novembre 2022 à 16:49 diff hist +10 CLIP Aucun résumé des modifications
- 11:118 novembre 2022 à 11:11 diff hist +51 CLIP Aucun résumé des modifications
- 11:048 novembre 2022 à 11:04 diff hist +7 ImageNet Aucun résumé des modifications actuelle
- 10:298 novembre 2022 à 10:29 diff hist +83 CLIP Aucun résumé des modifications
- 10:198 novembre 2022 à 10:19 diff hist +88 ImageNet Aucun résumé des modifications
- 10:188 novembre 2022 à 10:18 diff hist +151 N ImageNet Page créée avec « The ImageNet dataset, one of the largest efforts in this space, required over 25,000 workers to annotate 14 million images for 22,000 object categories »
- 10:128 novembre 2022 à 10:12 diff hist +333 CLIP Aucun résumé des modifications
- 09:468 novembre 2022 à 09:46 diff hist 0 CLIP Aucun résumé des modifications
- 09:468 novembre 2022 à 09:46 diff hist +106 CLIP Aucun résumé des modifications
- 09:418 novembre 2022 à 09:41 diff hist +6 CLIP Aucun résumé des modifications
- 09:278 novembre 2022 à 09:27 diff hist +89 N CLIP Page créée avec « Références - CLIP: Connecting Text and Images - A Beginner’s Guide to the CLIP Model »