Build an LLM FROM SCRATCH

FROM ZERO TO HERO

L’objectif pédagogique de ce Hackathon est de maitriser toutes les étapes de construction d’un modèle de langage large (LLM). Les ateliers sont organisés sur 4 jours, à partir d’une page blanche, construire étape par étape toutes les briques d’un LLM :

• Collecte et préparation de la base de données d’entrainement : Rassembler et traiter les données nécessaires pour entraîner le modèle.
• Prétraitement des données : Nettoyer et transformer les données brutes en un format approprié pour l’entraînement du modèle (tokenisation, normalisation, etc.).
• Embedding : Convertir les données en vecteurs numériques dans un espace de haute dimension.
• Mécanisme d’attention : Technique permettant au modèle de se concentrer sur les parties les plus importantes des données d’entrée.
• Architecture de Transformers : Utilisation de l’architecture Transformer, qui est la base de nombreux modèles en NLP comme Lamma et GPT.
• Métriques d’évaluation : Méthodes pour évaluer les performances du modèle.
• Entrainement et validation : Processus d’apprentissage du modèle à partir des données d’entraînement et de validation de ses performances sur des données de test.
• Fine tuning : Ajustement des hyperparamètres du modèle pré-entraîné sur une tâche spécifique pour améliorer ses performances.