LLM (grand modèle de langage) : définition et fonctionnement

Sur cette page : définition · fonctionnement · tokens · entraînement · exemples · limites · au travail

Définition

LLM signifie large language model, en français grand modèle de langage. C'est un programme entraîné sur de très grandes quantités de textes pour une tâche unique : prédire la suite la plus probable d'un texte. À force de prédire le mot suivant, il apprend la grammaire, les tournures, beaucoup de connaissances générales et des façons de raisonner sur un problème. C'est ce qui lui permet de rédiger, résumer, traduire, reformuler, classer ou écrire une formule.

Comment fonctionne un LLM

1. Le texte est découpé en tokens, des morceaux de mots.
2. Le modèle calcule, pour chaque token possible, la probabilité qu'il vienne ensuite, en tenant compte de tout ce qui précède (votre demande, les documents joints, la conversation).
3. Il choisit un token, l'ajoute au texte, et recommence jusqu'à la fin de la réponse.

La plupart des LLM actuels reposent sur une architecture appelée transformer (le « T » de GPT), qui permet de tenir compte de passages éloignés dans le texte.

Tokens et fenêtre de contexte

Un token correspond en moyenne à un morceau de mot. La fenêtre de contexte est la quantité de tokens que le modèle peut prendre en compte à la fois : votre demande, les fichiers joints, l'historique de la conversation. Ce qui n'y est pas, le modèle l'ignore ou le devine. C'est pourquoi un prompt complet donne de meilleurs résultats : il remplit la fenêtre avec les bonnes informations.

Entraînement, réglage fin et multimodalité

• Pré-entraînement : le modèle apprend à prédire la suite sur d'immenses corpus. Ses connaissances s'arrêtent à la date de ces données.
• Ajustement : il est ensuite entraîné à suivre des consignes et à dialoguer, avec des exemples et des retours humains.
• Réglage fin (fine-tuning) : un entraînement complémentaire sur des exemples spécialisés, pour un domaine ou un style. Pour une PME, joindre ses documents (RAG) suffit presque toujours.
• Multimodal : certains modèles traitent aussi des images, du son ou des documents scannés, en plus du texte.

Exemples de LLM

Les familles les plus connues : GPT d'OpenAI (derrière ChatGPT), les modèles de Mistral AI (derrière Le Chat), Claude d'Anthropic, Gemini de Google, Llama de Meta. Copilot de Microsoft s'appuie sur plusieurs de ces modèles. Certains modèles sont publiés avec leurs « poids » (modèles ouverts), ce qui permet de les faire tourner sur ses propres serveurs.

Les limites d'un LLM

Ce que ça change pour l'utiliser au travail

• Lui confier la forme (rédiger, structurer, reformuler), garder le fond (prix, faits, décisions).
• Lui donner le contexte : rôle, destinataire, informations, limites (voir prompt engineering).
• Ne pas lui transmettre de données qu'aucun contrat ne couvre.

Les autres mots de l'IA sont dans le lexique, la différence avec l'apprentissage automatique dans machine learning et deep learning, et l'usage en agents dans la rubrique Agents IA.

Pour continuer

Le parcours de formation IA est gratuit et sans inscription : six modules, un quiz par module, une attestation interne pour le registre de formation. Pour une séance animée pour toute l'équipe, voyez la formation accompagnée. Toutes les pages formation sont réunies sur la page Formation IA en entreprise.