Data scientists, ingénieurs ML, développeurs IA souhaitant adapter des modèles pré-entraînés à des cas d'usage métier spécifiques.
Comprendre quand et pourquoi fine-tuner un modèle plutôt qu'utiliser du prompt engineering ou du RAG. Préparer des datasets d'entraînement de qualité. Mettre en oeuvre les techniques de fine tuning efficaces (LoRA, QLoRA, PEFT). Évaluer et comparer les modèles affinés. Déployer un modèle fine-tuné en production.
Bonne maîtrise de Python. Connaissances en deep learning (réseaux de neurones, fonctions de perte, optimiseurs). Expérience avec les LLM via API ou en local.
|
| Positionnement du fine tuning |
Durée : 3h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Quand fine-tuner : arbitrage entre prompt engineering, RAG et fine tuning — critères de décision (coût, latence, qualité, confidentialité).
Taxonomie du fine tuning : full fine tuning, transfer learning, parameter-efficient fine tuning (PEFT).
Panorama des modèles fine-tunables : modèles ouverts (Llama, Mistral, Gemma, Phi) vs APIs managées (OpenAI, Anthropic, Vertex AI).
Coûts et ressources : estimation GPU, durée d'entraînement, comparatif cloud vs on-premise.
Cadre juridique : licences des modèles de base, propriété du modèle affiné, implications RGPD sur les données d'entraînement.Atelier : Analyse de 3 cas d'usage métier — décision argumentée fine tuning vs RAG vs prompt engineering pour chaque cas.
|
|
| Préparation des données d'entraînement |
Durée : 3h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Formats de datasets : instruction/réponse, conversation multi-tours, préférence (chosen/rejected).
Collecte et curation : extraction depuis des bases métier, annotation, nettoyage, dédoublonnage.
Augmentation de données : génération synthétique via LLM, paraphrase, diversification.
Qualité du dataset : détection de biais, équilibrage des classes, validation croisée.
Dimensionnement : combien d'exemples faut-il ? Loi des rendements décroissants.
Outillage : Argilla, Label Studio, scripts de conversion vers les formats Hugging Face.Atelier : Construction d'un dataset d'entraînement à partir de données brutes métier — nettoyage, mise en forme instruction/réponse, split train/eval, publication sur Hugging Face Hub.
|
|
| Techniques de fine tuning |
Durée : 3h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Full fine tuning vs PEFT : impact mémoire, vitesse, qualité — quand choisir quoi.
LoRA (Low-Rank Adaptation) : principe mathématique, choix du rang, ciblage des couches.
QLoRA : quantification 4-bit + LoRA, configuration bitsandbytes.
Hyperparamètres clés : learning rate, epochs, batch size, warmup, weight decay — stratégies de réglage.
Entraînement distribué : DeepSpeed, FSDP, multi-GPU.
Plateformes d'entraînement : Hugging Face TRL/SFTTrainer, Axolotl, Unsloth, services cloud (SageMaker, Vertex AI).
Suivi d'entraînement : Weights & Biases, TensorBoard, courbes de perte et détection d'overfitting.Atelier : Fine tuning LoRA d'un modèle 7B sur GPU — configuration de l'entraînement, suivi des métriques en temps réel, sauvegarde des adaptateurs.
|
|
| Alignement et techniques avancées |
Durée : 3h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | RLHF (Reinforcement Learning from Human Feedback) : principe, modèle de récompense, PPO — pourquoi c'est coûteux.
DPO (Direct Preference Optimization) : alternative simplifiée au RLHF, mise en oeuvre avec TRL.
ORPO, SimPO : variantes récentes et cas d'usage.
Préparation d'un dataset de préférences : paires chosen/rejected, annotation, contrôle qualité.
Merge de modèles : combinaison d'adaptateurs LoRA, techniques de fusion (TIES, DARE, linear merge).
Distillation : transférer les capacités d'un grand modèle vers un modèle plus petit.Atelier : Alignement DPO d'un modèle pré-fine-tuné — préparation du dataset de préférences, entraînement DPO, comparaison avant/après sur un jeu de tests.
|
|
| Évaluation et déploiement |
Durée : 2h30
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Métriques d'évaluation : perplexité, BLEU/ROUGE (limites), évaluation LLM-as-judge, benchmarks métier.
Construction d'un benchmark maison : jeu de tests représentatif, scoring automatique, tests de régression.
Comparaison systématique : modèle de base vs fine-tuné vs RAG sur les mêmes cas de test.
Formats d'export : GGUF, ONNX, SafeTensors — choix selon la cible de déploiement.
Quantification post-entraînement : GPTQ, AWQ, impact sur la qualité.
Déploiement du modèle affiné : vLLM, TGI, Ollama, Triton — intégration dans une chaîne applicative existante.
Versioning et cycle de vie : registre de modèles, rollback, réentraînement planifié.Atelier : Pipeline complet — évaluation comparative du modèle fine-tuné, export GGUF, déploiement via vLLM, test d'inférence en conditions réelles.
|
