Tarification des IA : c’est quoi les tokens ?

Depuis l’explosion des intelligences artificielles génératives en 2022, et leur intégration progressive dans les outils du quotidien, les entreprises de toutes tailles se tournent de plus en plus vers ces technologies pour optimiser leur fonctionnement. Et demain, le recours devrait être encore plus massif, certain estimant qu’à terme les entreprises consommeront de l’IA comme aujourd’hui elles consomment de l’énergie. Une tendance qui pose la question de la tarification des services des IA et donc celle des fameux tokens.

Qu’est-ce qu’un token ?

En intelligence artificielle, et plus spécifiquement dans le traitement du langage naturel (TLN), un token est la plus petite unité de texte qu’un modèle peut comprendre et manipuler. Ce n’est pas toujours une lettre ni un mot entier, et, pour couronner le tout, toutes les IA n’en ont pas la même définition.

La « tokenisation », quant à elle, est le processus par lequel un texte est découpé en un certain nombre de ces unités. Sur ce point, les modèles d’IA modernes, comme ceux d’OpenAI, Google ou Anthropic, emploient des méthodes basées sur la tokenisation par sous-mots. Cela signifie qu’un mot comme « indéchiffrable », par exemple, pourrait être scindé en plusieurs tokens (« in », « déchiff », « rable ») par certains de ces modèles.

Pourquoi cette granularité ? Elle permet aux IA de mieux gérer les mots qu’elles n’ont jamais rencontrés lors de leur entraînement (mots rares, néologismes), de réduire le volume de leur vocabulaire interne, et de s’adapter à des langues ayant des structures de mots différentes. Le revers de la médaille, c’est qu’une même phrase peut générer un nombre de tokens légèrement différent d’un modèle à l’autre, compliquant la comparaison tarifaire entre les IA. Sans parler du fait que certains fournisseurs, comme Google, ont décidé d’opter pour une facturation au nombre de caractères, rendant toute analyse comparative encore plus ardue.

Comment sont-ils tarifés ?

Le lien entre les tokens et le coût des services d’IA est direct. Les fournisseurs ont besoin d’une métrique quantifiable pour mesurer l’utilisation de leurs modèles et facturer en conséquence. Les tokens sont cette métrique.

La facturation repose généralement sur deux types de tokens :
• Les tokens d’entrée (input tokens) : ce sont ceux que vous envoyez au modèle, c’est-à-dire votre requête, votre question ou le texte que l’IA doit analyser. Si vous demandez « Rédige une note de synthèse sur la réunion d’hier », le nombre de tokens dans cette phrase constitue vos tokens d’entrée.

• Les tokens de sortie (output tokens) : ce sont les tokens générés par le modèle en réponse à votre demande. La note de synthèse produite sera mesurée en tokens de sortie.

Il est courant que le coût par token de sortie soit légèrement supérieur à celui des tokens d’entrée. La raison est simple : la génération de texte est souvent plus gourmande en ressources de calcul que la simple analyse du texte d’entrée.

Les prix varient considérablement d’un fournisseur à l’autre et d’un modèle à l’autre. Les modèles les plus performants et les plus récents (comme GPT-4 ou Claude 3 Opus) sont naturellement plus chers au token que leurs prédécesseurs ou leurs homologues plus petits et plus rapides (comme GPT-3.5 Turbo ou Claude 3 Haiku). Cette variabilité est aussi influencée par la « fenêtre de contexte » du modèle, c’est-à-dire le nombre maximal de tokens qu’il peut traiter simultanément. Une fenêtre plus large permet de gérer des documents plus longs, mais peut entraîner un coût supérieur.

Le tableau comparatif suivant permet d’avoir une idée plus précise des tarifs pratiquées par ChatGPT, Gemini (Google), Claude et Mistral.

Des entreprises dépendantes

Aujourd’hui, il n’existe pas de contrat garantissant des prix fixes et inchangés sur des période de plus d’un an. Les fournisseurs justifient cette flexibilité par l’innovation constante du secteur, la fluctuation des coûts des ressources (processeurs, énergie) et la nécessité de s’adapter rapidement au marché. Cette situation crée une incertitude budgétaire non négligeable. Une entreprise qui intègre une IA dans son processus critique (par exemple, un support client automatisé ou un outil de rédaction de fiches produits) se retrouve à la merci d’éventuelles augmentations tarifaires décidées unilatéralement par le fournisseur.

Certes, les très grandes entreprises peuvent négocier des contrats sur mesure, incluant des tarifs préférentiels, des crédits d’utilisation ou des paliers de consommation garantis. Mais ces contrats « grand comptes », s’ils peuvent offrir une certaine stabilité, sont l’exception et ne concernent pas la majorité des PME et des TPE. De plus, même ces contrats n’offrent que rarement une garantie absolue contre toute fluctuation. Les fournisseurs s’engagent tout au plus à respecter un préavis (souvent 30, 60 ou 90 jours) avant toute modification tarifaire significative, laissant aux clients « le temps » de s’adapter ou de chercher des alternatives.

Cette dépendance progressive, combinée à l’imprévisibilité des coûts sur le long terme, doit inciter les entreprises à effectuer une veille constante. Elles doivent non seulement régulièrement évaluer les performances des différentes IA, mais aussi surveiller de près leurs modèles de tarification pour ne pas se retrouver dans une trop grande situation d’incertitude tarifaire.

Reste à espérer que l’émergence de modèles open source performants, ou la possibilité d’héberger des modèles en interne, pourra, à terme, offrir des voies de diversification pour réduire cette dépendance et mieux maîtriser les budgets et la durée de vie des modèles économiques.