Contenu du Cours
1
Architecture Transformer
44 heures
Introduction au chapitre
De l'attention aux Transformers : pourquoi cette révolution ?
L'attention : intuition et mécanique
Self-attention en profondeur
Multi-head attention
Positional encoding
Le bloc encodeur complet
Le bloc décodeur et le masking causal
Layer norm, résidus et feed-forward
TP — implémenter self-attention from scratch
TP — mini-Transformer pour classification
Lecture commentée du papier "Attention Is All You Need"
2
Modèles pré-entraînés (encoder-only)
36 heures
Introduction au chapitre
Le pré-entraînement self-supervisé
BERT : masked language modeling
Variantes BERT : RoBERTa, DistilBERT, ALBERT
Fine-tuning pour la classification
Token classification : NER
Question Answering extractif
Modèles multilingues : XLM-RoBERTa
TP : classification de texte avec BERT fine-tuné
Synthèse encoder et passage au décodeur
3
Modèles génératifs (decoder-only)
40 heures
Introduction au chapitre
Causal language modeling
GPT-2 : le premier modèle génératif grand public
De GPT-2 à Llama et Mistral
Stratégies de décodage : greedy, beam, top-k, top-p, temperature
Prompt engineering : few-shot et chain-of-thought
Ollama : LLMs en local
TP : génération avec GPT-2 et comparaison des stratégies
TP : fine-tuning GPT-2 sur corpus spécifique
Synthèse decoder et introduction à Hugging Face
4
Écosystème Hugging Face
30 heures
Introduction au chapitre
Le Hub : modèles, datasets, Spaces
AutoModel et AutoTokenizer
Pipelines : inférence en 3 lignes
La bibliothèque datasets : streaming et preprocessing
Tokenizers avancés : BPE, WordPiece, SentencePiece
Le Trainer API
PEFT et LoRA : fine-tuning efficient
Publier un modèle sur le Hub
Synthèse Hugging Face et préparation de l'IA générative
Commentaires
0 commentaire
Aucun commentaire pour le moment
Soyez le premier à partager votre avis !
Se connecter pour commenter