Ce cours fournit une introduction pratique à l'utilisation de modèles transformateurs pour des applications de traitement du langage naturel (NLP). Vous apprendrez à construire et à entraîner des modèles pour la classification de textes en utilisant des architectures basées sur des encodeurs comme Bidirectional Encoder Representations from Transformers (BERT), et explorerez des concepts de base tels que l'encodage positionnel, les word embeddings, et les mécanismes d'attention. Le cours couvre l'attention multi-têtes, l'auto-attention, et la modélisation causale du langage avec GPT pour des tâches telles que la génération de texte et la traduction. Vous acquerrez une expérience pratique de la mise en œuvre de modèles transformateurs dans PyTorch, y compris des stratégies de préformation telles que la modélisation du langage masqué (MLM) et la prédiction de la phrase suivante (NSP). Grâce à des laboratoires guidés, vous appliquerez des modèles d'encodeur et de décodeur à des scénarios du monde réel. Ce cours est conçu pour les apprenants intéressés par l'ingénierie de l'IA générative et nécessite des connaissances préalables de Python, PyTorch et de l'apprentissage automatique. Inscrivez-vous dès maintenant pour renforcer vos compétences en NLP avec des transformateurs !
Modèle de langage IA génératif avec Transformateurs
Ce cours fait partie de plusieurs programmes.
Enseigné en Français (doublage IA)
Instructeurs : Joseph Santarcangelo
10 528 déjà inscrits
Inclus avec 
(81 avis)
Expérience recommandée
Ce que vous apprendrez
Expliquer le rôle des mécanismes d'attention dans les modèles de transformateurs pour saisir les relations contextuelles dans le texte
Décrire les différences dans les approches de modélisation du langage entre les modèles basés sur le décodeur comme le GPT et les modèles basés sur le codeur comme le BERT
Mettre en œuvre les composants clés des modèles transformateurs, y compris l'encodage positionnel, les mécanismes d'attention et le masquage, à l'aide de PyTorch
Appliquer des modèles basés sur des transformateurs pour des tâches NLP réelles, telles que la classification de textes et la traduction de langues, à l'aide des outils PyTorch et Hugging Face
Compétences que vous acquerrez
- Catégorie : IA générative
- Catégorie : Apprentissage automatique appliqué
- Catégorie : Exploration de texte
- Catégorie : Deep learning
- Catégorie : Traitement du langage naturel (NLP)
- Catégorie : Grand modèle de langage (LLM)
- Catégorie : PyTorch (Bibliothèque d'Apprentissage automatique)
Détails à connaître
Ajouter à votre profil LinkedIn
6 devoirs
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Élaborez votre expertise du sujet
- Apprenez de nouveaux concepts auprès d'experts du secteur
- Acquérez une compréhension de base d'un sujet ou d'un outil
- Développez des compétences professionnelles avec des projets pratiques
- Obtenez un certificat professionnel partageable
Il y a 2 modules dans ce cours
Dans ce module, vous apprendrez les techniques pour réaliser l'encodage positionnel et comment mettre en œuvre l'encodage positionnel dans PyTorch. Vous apprendrez comment fonctionne le mécanisme d'attention et comment l'appliquer aux enchâssements de mots et aux séquences. Vous apprendrez également comment les mécanismes d'auto-attention aident à la modélisation simple du langage pour prédire le token. En outre, vous découvrirez le mécanisme d'attention à produit point avec plusieurs têtes et comment l'architecture du transformateur améliore l'efficacité des mécanismes d'attention. Vous apprendrez également à mettre en œuvre une série d'instances de couches d'encodage dans PyTorch. Enfin, vous apprendrez à utiliser des modèles à base de transformateurs pour la classification de textes, y compris la création du pipeline de texte et du modèle et l'entraînement du modèle.
Inclus
6 vidéos4 lectures2 devoirs2 éléments d'application1 plugin
Dans ce module, vous apprendrez à connaître les décodeurs et les modèles de type GPT pour la traduction de langage, à entraîner les modèles et à les mettre en œuvre à l'aide de PyTorch. Vous allez également acquérir des connaissances sur les modèles de transformateurs avec Bidirectional Encoder Representations from Transformers (BERT) et les pré-entraîner à l'aide de la modélisation du langage masqué (MLM) et de la prédiction de la phrase suivante (NSP). Vous effectuerez également la préparation des données en cours d'utilisation de BERT à l'aide de PyTorch. Enfin, vous apprendrez les applications des transformateurs pour la traduction en comprenant l'architecture des transformateurs et en réalisant son implémentation en PyTorch. Les travaux pratiques de ce module vous donneront une bonne pratique de la façon dont vous pouvez utiliser le modèle de décodeur, le modèle d'encodeur, et les transformateurs pour des applications du monde réel.
Inclus
10 vidéos6 lectures4 devoirs4 éléments d'application2 plugins
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Instructeurs
Offert par
En savoir plus sur Apprentissage automatique
DeepLearning.AI
Google Cloud
Statut : Essai gratuit
Statut : Essai gratuitDeepLearning.AI
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Avis des étudiants
81 avis
- 5 stars
76,82 %
- 4 stars
12,19 %
- 3 stars
3,65 %
- 2 stars
1,21 %
- 1 star
6,09 %
Affichage de 3 sur 81
Révisé le 11 oct. 2024
Once again, great content and not that great documentation (printable cheatsheets, no slides, etc). Documentation is essential to review a course content in the future. Alas!
Révisé le 17 nov. 2024
need assistance from humans, which seems lacking though a coach can give guidance but not to the extent of human touch.
Révisé le 18 janv. 2025
Exceptional course and all the labs are industry related
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
Il ne vous faudra que deux semaines pour terminer ce cours si vous consacrez 3 à 5 heures d'étude par semaine.
Il serait bon que vous ayez une connaissance de base de Python et une familiarité avec l'apprentissage automatique et les concepts de réseaux neurones. Il serait avantageux que vous soyez familier avec les étapes de prétraitement de texte et les modèles N-gram, Word2Vec et séquence à séquence. La connaissance des métriques d'évaluation telles que la sous-évaluation de l'évaluation bilingue (BLEU) sera un avantage.
Ce cours fait partie de la spécialisation Essentiels de l'ingénierie de l'IA générative avec LLMs PC. Lorsque vous terminez la spécialisation, vous vous préparez avec les compétences et la confiance pour prendre des emplois tels que l'ingénieur IA, l'ingénieur NLP, l'ingénieur de l'apprentissage automatique, l'ingénieur de l'apprentissage profond et le scientifique de données.
Plus de questions
Aide financière disponible,