Résumé IA · arXiv: 2611.13058v1 · cs.CL

The Indic Token Tax in 2026: Measuring Tokenizer. Disparity and Its Cost for the Languages of India

Johin Johny Arimbur, Ankur Ashit Ghosh, Shervin Sam
Article original Soumis à arXiv le 09 Nov. 2026 Licence : CC BY 4.0 Aussi en : en

Comment lire ce résumé ? Guide illustré

L’essentiel

L’étude mesure un surcoût de tokenisation persistant pour les langues indiennes, variable selon la langue, l’écriture et le tokenizer, et encore marqué chez GPT-4o.

Question

Dans quelle mesure les tokenizers publics de modèles de langue imposent-ils un surcoût en tokens aux langues de l’Inde par rapport à l’anglais ? L’étude examine aussi les textes romanisés, les coûts d’API illustratifs et l’alignement des frontières de tokens avec les morphèmes.

Méthode

Les auteurs évaluent neuf tokenizers sur 2 009 phrases alignées de FLORES-200 couvrant 25 paires langue-écriture, ainsi que sur 13 732 paires Hinglish-anglais de PHINC. Ils mesurent également la romanisation sur des données Dakshina et l’alignement morphologique en hindi et marathi à partir de 59 676 mots hindi et 42 292 mots marathi retenus; les intervalles de confiance sont calculés par 1 000 rééchantillonnages bootstrap.

Résultats

  • Résultat Avec GPT-4o, le rapport de tokens par rapport à l’anglais va de 1,57 pour l’hindi à 5,01 pour l’odia, et atteint 13,72 pour le santali en écriture Ol Chiki.
    Voir le passage dans l’article
    on GPT-4o’s tokenizer no language of India reaches parity: the lowest ratio is Hindi at 1.57, eight of the 25 are at 2.0 or above, and three scripts are much worse: Odia (5.01), Meitei in Bengali script (3.07) and Santali in Ol Chiki (13.72, higher than GPT-4’s 12.76).
  • Résultat Sarvam-30B/105B est le seul tokenizer tiers dont le rapport reste inférieur à 2,6 pour chacune des 25 langues-écritures évaluées.
    Voir le passage dans l’article
    Sarvam-30B/105B stays between 1.21 and 2.50 on every language, the only third-party tokenizer under 2.6 everywhere.
  • Résultat Sur PHINC, les textes Hinglish ont un faible écart de parité avec l’anglais pour tous les tokenizers, mais contiennent 8 % de mots supplémentaires par rapport aux traductions anglaises.
    Voir le passage dans l’article
    On PHINC, Hinglish parity is low on every tokenizer (Table I), because Latin-script Hinglish reuses English sub-words. Part of the remaining gap is not a tokenizer effect: PHINC Hinglish posts contain 8% more words than their English translations.
  • Résultat Aucun tokenizer ne dépasse un score F1 de 0,48 pour l’alignement des frontières internes aux mots avec les frontières morphémiques.
    Voir le passage dans l’article
    The Indic-focused Sarvam tokenizers place 29 to 34% of their word-internal boundaries on morpheme boundaries, about twice the reference, and no tokenizer exceeds an F1 of 0.48.
  • Interprétation des auteurs Dans le scénario illustratif des auteurs, un service sur GPT-4o coûte davantage en marathi qu’en anglais, mais ces estimations reposent sur des hypothèses et ne mesurent pas des coûts de production.
    Voir le passage dans l’article
    The figures in this section are illustrative estimates, not measured production costs or savings.

Limites

  • Les phrases de FLORES n’ont pas été vérifiées pour repérer d’éventuels recouvrements avec les données d’entraînement des tokenizers évalués.
    Voir le passage dans l’article
    We did not check FLORES sentences for overlap with the web-crawled training data of the tokenizers measured.
  • Les données FLORES sont formelles et de style encyclopédique; les résultats peuvent différer pour les conversations, qui n’ont pas pu être évaluées avec IN22-Conv, dont l’accès était restreint.
    Voir le passage dans l’article
    FLORES is formal, Wikipedia-style text, and conversational text may behave differently; IN22-Conv, which would test this, is gated and was not used.
  • L’exemple de coûts en roupies dépend notamment de longueurs de conversation supposées et de l’hypothèse que la parité en sortie égale celle en entrée.
    Voir le passage dans l’article
    The rupee example rests on assumed chat lengths, list prices that change often, the assumption that output parity equals input parity, and, for Sarvam, an unverified assumption about which tokenizer its API uses; the OpenAI model to tokenizer mapping comes from tiktoken rather than an API document.

Portée

Les auteurs soutiennent que le tokenizer peut modifier sensiblement le coût et la capacité contextuelle selon la langue, et qu’il faut examiner ces écarts avant de comparer des prix par token. Les tokenizers conçus pour les langues indiennes réduisent le surcoût, mais les frontières produites restent imparfaitement alignées sur les morphèmes.

Rédigé par une IA à partir de l’article. Les passages cités sont vérifiés mot pour mot dans le texte analysé ; le reste peut contenir des erreurs.

Mots clés générés par l'IA : tokenisation langues indiennes inégalité linguistique morphologie coûts des modèles

Pour aller plus loin

  • Résumé Complet
  • Résumé vulgarisé
  • Article de blog
  • Abstract original
L’article étudie les inégalités engendrées par les tokeniseurs des modèles de langage pour les langues de l’Inde. Comme les API facturent généralement à l’usage des tokens et que la capacité des fenêtres de contexte se mesure également en tokens, un texte qui en nécessite davantage peut coûter plus cher et laisser moins de place au contexte. Les auteurs évaluent ces écarts à l’aide de neuf tokeniseurs publics récents, notamment ceux de GPT-4, GPT-4o, Qwen2.5, DeepSeek-V3, Mistral-Nemo et quatre modèles Sarvam. Ils examinent aussi les textes romanisés, comme le hinglish, estiment les conséquences financières possibles et vérifient si les frontières entre tokens correspondent aux frontières morphologiques. Le corpus principal est FLORES-200, qui comprend 2 009 phrases traduites et alignées en anglais, couvrant 25 langues et les paires de langues et d’écritures représentées dans le jeu de données. Les auteurs y ajoutent 13 732 paires de publications en hinglish et de traductions anglaises issues de PHINC, ainsi que des textes romanisés de réseaux sociaux et des données Dakshina, qui associent des textes en écriture native et en alphabet latin. Pour comparer les langues, ils calculent le rapport entre le nombre total de tokens d’un texte et celui de sa phrase anglaise correspondante. Les intervalles de confiance sont estimés par rééchantillonnage. Ils évaluent également l’alignement entre les frontières de tokens et les segmentations morphologiques en hindi et en marathi. Les écarts sont importants et varient selon la langue, l’écriture et le tokeniseur. Avec GPT-4o, le hindi nécessite 1,57 fois plus de tokens que l’anglais, et le marathi, 1,82 fois plus. Huit des 25 langues étudiées atteignent au moins le double. Le rapport est de 3,07 pour le meitei écrit en alphabet bengali, de 5,01 pour l’odia et de 13,72 pour le santali écrit en Ol Chiki. Les tokeniseurs plus anciens de GPT-4 et de Qwen2.5 pénalisent particulièrement certaines écritures : pour l’odia, leurs rapports atteignent respectivement 12,48 et 9,73, et pour le santali, 12,76 et 8,93. À l’inverse, Sarvam-30B et Sarvam-105B affichent des rapports compris entre 1,21 et 2,50 pour les 25 langues, avec un rapport médian de 1,53. Même les tokeniseurs les plus favorables ne ramènent toutefois pas toutes les langues à la parité avec l’anglais. Pour le hinglish, le rapport par rapport à l’anglais est relativement faible avec GPT-4o, à 1,28. Les auteurs soulignent cependant que les publications en hinglish de PHINC contiennent 8 % de mots de plus que leurs traductions anglaises. Les données Dakshina indiquent que la romanisation peut réduire le nombre de tokens avec certains tokeniseurs plus anciens, mais que son effet est presque neutre avec GPT-4o et peut même s’inverser avec les tokeniseurs Sarvam. L’alignement morphologique reste médiocre. Les meilleurs scores F1, obtenus par Sarvam-30B et Sarvam-105B pour le hindi et le marathi, atteignent 0,48. Avec ces modèles, 34 % des frontières situées à l’intérieur des mots correspondent à des frontières de morphèmes.

Cette synthèse vous a-t-elle été utile ?

Note : 0

Pourquoi avons-nous besoin de votes ?

Les votes sont utilisés pour déterminer si nous devons réexécuter nos outils de synthèse. Si le compte atteint -10, nos outils peuvent être redémarrés.

Figures et graphiques

Posez une question sur une figure en indiquant son numéro ou en utilisant son bouton de question pour demander une analyse visuelle. Au maximum deux figures et quatre panneaux par question. Les valeurs lues sur les graphiques sont approximatives ; vérifiez les données originales.

Instructions pour utiliser l'assistant IA ?

Outils pour cet article

Expliquer autrement 1 réécriture gratuite restante aujourd'hui
Enregistrer dans une collection Regroupez des articles en collections pour les comparer, les interroger et les exporter. Continuer avec Google Créer un compte gratuit Se connecter

Outils avancés Premium

Pour suivre un domaine de près : alertes de citations, diapositives de journal club, comparaison des versions et envoi vers Zotero. Découvrir Premium

Zotero Guide Zotero
Alertes de citation 1 article le cite déjà : recevez chaque nouveau par email. Guide des alertes de citations
Qui travaille dessus ?

Parmi les 23 articles autour de celui-ci, le nom qui revient le plus : Maharaj Brahma (2 articles)

1 autre personne en signe plusieurs. La carte complète ajoute leurs institutions et leurs approches, d’après les articles des dernières années.

Continuer avec Google Créez un compte gratuit : votre première carte est offerte
Lettre hebdomadaire Présenté dans « Intelligence artificielle cette semaine » du 16 novembre 2026. Intelligence artificielle cette semaine : ce que les bons scores ne disent pas · En recevoir une par email gratuitement

Les articles autour de celui-ci

Les voir sur une carte

Classés selon la proximité de leur titre et de leur résumé avec ceux de cet article. Sélectionnez-en pour les lire ensemble.

Les articles les plus proches

  1. Très proche Même question
    The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages
    Priyanshu Srivastava · 2026 · arXiv.org · preprint, non relu par les pairs · cité 2 fois · Pas encore résumé

    The Tokenizer Tax mesure sur FLORES-200 le surcoût en tokens des langues indiennes par rapport à l’anglais, comme cette étude, avec six tokenizers et quatorze langues.

    Résumé scientifique

    Large language models (LLMs) process text through subword tokenizers rather than directly reading characters or words. Because these tokenizers are trained predominantly on English-centric corpora, they introduce a systematic and often overlooked disadvantage for many non-English languages. In this work, we quantify this tokenizer tax for Indian languages using the FLORES-200 parallel corpus, measuring tokenization fertility across six widely used tokenizers and fourteen languages. Under cl100k_base (used by GPT-3.5 and GPT-4), Indian languages experience an average 8.0x tokenization tax relative to English, reaching 13.0x for Malayalam, reducing the effective context window to as little as …

  2. Très proche Prolonge cet article Cite cet article
    A Multi-Word Tokenizer for 204 Languages That Needs Fewer Tokens Than GPT-4o's, Including on English
    Johin Johny, A. Ghosh, Shervin Sam · 2026 · Pas encore résumé

    A Multi-Word Tokenizer cite cette étude et entraîne Havon, un tokenizer qui réduit le nombre de tokens pour les langues indiennes sur FLORES-200.

    Résumé scientifique

    Languages of India need 1.6 to 14 times as many tokens as English on GPT-4o's tokenizer for the same content, which makes them more expensive and slower to serve. We train tokenizers from scratch on human-written text in about 200 languages. Havon v3 is a byte-level BPE tokenizer with 262,144 tokens and a pre-tokenizer that keeps combining marks with their letters and chunks scripts written without spaces. On FLORES-200 devtest it needs fewer tokens than GPT-4o's o200k_base on all 25 languages of India (median 0.74 of GPT-4o's count) and on 172 of 204 languages, but 7% more on English. Havon v4 adds a second, multi-word training stage (SuperBPE) to v3. At exactly GPT-4o's vocabulary size of …

  3. Proche Même question Cité par cet article
    Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages
    Sagar Tamang, D. Bora · 2024 · arXiv.org · preprint, non relu par les pairs · cité 16 fois · Pas encore résumé

    Evaluating Tokenizer Performance compare l’efficacité des tokenizers de douze modèles pour les langues officielles de l’Inde, comme cette étude pour neuf tokenizers.

    Résumé scientifique

    Large Language Models (LLMs) based on transformer architectures have revolutionized a variety of domains, with tokenization playing a pivotal role in their pre-processing and fine-tuning stages. In multilingual models, particularly those tailored for Indic languages, effective tokenization is crucial for optimizing performance. This paper presents a comprehensive evaluation of tokenizers used by 12 LLMs across all 22 official languages of India, with a focus on comparing the efficiency of their tokenization processes. We employed the Normalized Sequence Length (NSL) as a key metric in our analysis. Our findings reveal that the SUTRA tokenizer outperforms all other models, including several I…

  4. Proche Contexte plus large
    Is Sanskrit the most token-efficient language? A quantitative study using GPT, Gemini, and SentencePiece
    Anshul Kumar · 2026 · arXiv.org · preprint, non relu par les pairs · cité 1 fois · Pas encore résumé

    Is Sanskrit the most token-efficient language? compare la tokenisation du sanskrit, de l’anglais et du hindi sur des vers parallèles, plutôt que les langues indiennes en général.

    Résumé scientifique

    Tokens are the basic units of Large Language Models (LLMs). LLMs rely on tokenizers to segment text into these tokens, and tokenization is the primary determinant of computational and inference cost. Sanskrit, one of the oldest languages, is hypothesized to express more meaning per token due to its morphology and grammar rules; however, no prior work has quantified this. We use a dataset of 701 parallel verses of the Bhagavad Gita, which comprises three languages-Sanskrit, English, and Hindi along with transliteration of Sanskrit into English. We test tokenizers including SentencePiece (SPM), older GPT models, and the latest generation tokenizers from Gemini and GPT. We use metrics of token …

  5. Proche Même question
    Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
    Maharaj Brahma, N J Karthika, Rajat Verma et al. · 2025 · Annual Meeting of the Association for Computational Linguistics · cité 5 fois · Pas encore résumé

    Multilingual Tokenization étudie les tokenizers de langues indiennes, en comparant algorithmes, normalisation et vocabulaire, plutôt que leur coût relatif à l’anglais.

    Résumé scientifique

    Tokenization plays a pivotal role in NLP and is fundamental to training language models. However, existing tokenizers are often skewed towards high-resource languages, limiting their effectiveness for linguistically diverse and morphologically rich languages such as those in the Indian subcontinent. In this work, we present a comprehensive empirical study of multilingual tokenization across 17 Indic languages spanning 11 scripts and two language families. We systematically evaluate the effects of (i) widely used subword algorithms: BPE and Unigram LM, (ii) script and orthography-aware normalization, (iii) vocabulary size, and (iv) multilingual vocabulary construction strategies. We use a com…

  6. Proche Même méthode, autre problème
    The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty
    Volodymyr Ovcharov · 2026 · arXiv.org · preprint, non relu par les pairs · cité 5 fois · Pas encore résumé

    The Tokenizer Tax Across 25 European Languages mesure la fertilité des tokenizers sur des textes parallèles pour quantifier les écarts entre langues, mais en Europe.

    Résumé scientifique

    Tokenizer fertility the number of tokens per word imposes a hidden cost on non-English NLP. We measure fertility for ten foundation models across 25 European languages on parallel text, producing the first controlled tokenizer tax map for the continent. The tax spans 2.5x from English (1.2 tokens/word) to Greek/Maltese (~3.1), following a clear hierarchy: Romance (1.5-1.7), Germanic (1.7-1.9), Slavic (2.2-2.5), Uralic/Baltic (2.7-3.0). Ukrainian (2.7) pays 15-18% more than cognate Slavic languages, reflecting underrepresentation in pre-training data. Fertility rankings are domain-invariant across three text registers (rho>0.97). A subword analysis reveals that high-fertility tokenizers fragm…

  7. Proche Contexte plus large
    Krutrim LLM: A Novel Tokenization Strategy for Multilingual Indic Languages with Petabyte-Scale Data Processing
    Rahul Kumar, Shubham Kakde, Divyansh Rajput et al. · 2024 · cité 1 fois · Pas encore résumé

    Krutrim LLM décrit la préparation de données et l’optimisation de la tokenisation pour un modèle multilingue indien, plutôt que le surcoût comparatif des tokens.

    Résumé scientifique

    We present a novel approach to data preparation for developing multilingual Indic large language model. Our meticulous data acquisition spans open-source and proprietary sources, including Common Crawl, Indic books, news articles, and Wikipedia, ensuring a diverse and rich linguistic representation. For each Indic language, we design a custom preprocessing pipeline to effectively eliminate redundant and low-quality text content. Additionally, we perform deduplication on Common Crawl data to address the redundancy present in 70% of the crawled web pages. This study focuses on developing high-quality data, optimizing tokenization for our multilingual dataset for Indic large language models wit…

  8. Proche Même question Cité par cet article
    Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models
    Orevaoghene Ahia, Sachin Kumar, Hila Gonen et al. · 2023 · Conference on Empirical Methods in Natural Language Processing · cité 298 fois · Pas encore résumé

    Do All Languages Cost the Same? analyse les écarts de coût des API commerciales entre langues dus aux nombres de tokens nécessaires.

    Résumé scientifique

    Language models have graduated from being research prototypes to commercialized products offered as web APIs, and recent works have highlighted the multilingual capabilities of these products. The API vendors charge their users based on usage, more specifically on the number of ``tokens'' processed or generated by the underlying language models. What constitutes a token, however, is training data and model dependent with a large variance in the number of tokens required to convey the same information in different languages. In this work, we analyze the effect of this non-uniformity on the fairness of an API's pricing policy across languages. We conduct a systematic analysis of the cost and u…

Les travaux antérieurs sur lesquels il s’appuie

  1. Apparenté Même question
    Language Model Tokenizers Introduce Unfairness Between Languages
    Aleksandar Petrov, Emanuele La Malfa, P. Torr et al. · 2023 · Neural Information Processing Systems · cité 344 fois · Pas encore résumé

    Language Model Tokenizers Introduce Unfairness Between Languages montre que la tokenisation crée des écarts de longueur entre traductions, jusqu’à quinze fois.

    Résumé scientifique

    Recent language models have shown impressive multilingual performance, even when not explicitly trained for it. Despite this, there are concerns about the quality of their outputs across different languages. In this paper, we show how disparity in the treatment of different languages arises at the tokenization stage, well before a model is even invoked. The same text translated into different languages can have drastically different tokenization lengths, with differences up to 15 times in some cases. These disparities persist even for tokenizers that are intentionally trained for multilingual support. Character-level and byte-level models also exhibit over 4 times the difference in the encod…

  2. Apparenté Données, outil ou méthode en commun
    IndicTrans2: Towards High-Quality and Accessible Machine Translation Models for all 22 Scheduled Indian Languages
    Jay Gala, Pranjal A. Chitale, AK Raghavan et al. · 2023 · arXiv.org · preprint, non relu par les pairs · cité 350 fois · Pas encore résumé

    IndicTrans2 fournit des données parallèles et des benchmarks pour les langues indiennes, tandis que cette étude utilise FLORES-200 pour comparer leurs tokens à l’anglais.

    Résumé scientifique

    India has a rich linguistic landscape with languages from 4 major language families spoken by over a billion people. 22 of these languages are listed in the Constitution of India (referred to as scheduled languages) are the focus of this work. Given the linguistic diversity, high-quality and accessible Machine Translation (MT) systems are essential in a country like India. Prior to this work, there was (i) no parallel training data spanning all 22 languages, (ii) no robust benchmarks covering all these languages and containing content relevant to India, and (iii) no existing translation models which support all the 22 scheduled languages of India. In this work, we aim to address this gap by …

  3. Apparenté Données, outil ou méthode en commun
    IndicLLMSuite: A Blueprint for Creating Pre-training and Fine-Tuning Datasets for Indian Languages
    Mohammed Safi Ur Rahman Khan, Priyam Mehta, Ananth Sankar et al. · 2024 · Annual Meeting of the Association for Computational Linguistics · cité 84 fois · Pas encore résumé

    IndicLLMSuite rassemble des ressources de pré-entraînement et de réglage fin pour les langues indiennes, sans mesurer les disparités de tokenisation.

    Résumé scientifique

    Despite the considerable advancements in English LLMs, the progress in building comparable models for other languages has been hindered due to the scarcity of tailored resources. Our work aims to bridge this divide by introducing an expansive suite of resources specifically designed for the development of Indic LLMs, covering 22 languages, containing a total of 251B tokens and 74.8M instruction-response pairs. Recognizing the importance of both data quality and quantity, our approach combines highly curated manually verified data, unverified yet valuable data, and synthetic data. We build a clean, open-source pipeline for curating pre-training data from diverse sources, including websites, P…

  4. Apparenté Contexte plus large
    How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
    Phillip Rust, Jonas Pfeiffer, Ivan Vulic et al. · 2020 · Annual Meeting of the Association for Computational Linguistics · cité 525 fois · Pas encore résumé

    How Good is Your Tokenizer? compare les performances de modèles multilingues et monolingues sur des tâches, plutôt que les coûts de tokenisation.

    Résumé scientifique

    In this work, we provide a systematic and comprehensive empirical comparison of pretrained multilingual language models versus their monolingual counterparts with regard to their monolingual task performance. We study a set of nine typologically diverse languages with readily available pretrained monolingual models on a set of five diverse monolingual downstream tasks. We first aim to establish, via fair and controlled comparisons, if a gap between the multilingual and the corresponding monolingual representation of that language exists, and subsequently investigate the reason for any performance difference. To disentangle conflating factors, we train new monolingual models on the same data,…

  5. Apparenté Données, outil ou méthode en commun
    L3Cube-HingCorpus and HingBERT: A Code Mixed Hindi-English Dataset and BERT Language Models
    Ravindra Nayak, Raviraj Joshi · 2022 · WILDRE · cité 76 fois · Pas encore résumé

    L3Cube-HingCorpus fournit un corpus hindi-anglais romanisé, tandis que cette étude évalue aussi des paires Hinglish-anglais de PHINC.

    Résumé scientifique

    Code-switching occurs when more than one language is mixed in a given sentence or a conversation. This phenomenon is more prominent on social media platforms and its adoption is increasing over time. Therefore code-mixed NLP has been extensively studied in the literature. As pre-trained transformer-based architectures are gaining popularity, we observe that real code-mixing data are scarce to pre-train large language models. We present L3Cube-HingCorpus, the first large-scale real Hindi-English code mixed data in a Roman script. It consists of 52.93M sentences and 1.04B tokens, scraped from Twitter. We further present HingBERT, HingMBERT, HingRoBERTa, and HingGPT. The BERT models have been p…

Comment ces articles sont-ils trouvés ?

Nous comparons le titre et le résumé de cet article avec ceux de tous les articles résumés sur ce site, et avec les articles que Semantic Scholar recommande, ceux qu’il cite et ceux qui le citent (pour un article très cité, ses citations les plus récentes et, depuis OpenAlex, les plus citées). Parmi les travaux antérieurs et les suites, les articles qui s’utilisent en profondeur, une méthode qu’il utilise et les suites très citées remontent un peu. Les niveaux (très proche, proche, apparenté) viennent de la similarité des textes, pas d’un jugement de qualité ; * signale un article sans résumé, comparé par son titre. La phrase sous un article est écrite par une IA à partir des deux résumés : vérifiez-la dans les articles. Un article jugé hors sujet par trois lecteurs quitte la liste.

Mis à jour le 16 novembre 2026.

Le guide illustré des articles autour d’un article

Avertissement : Notre outil de synthèse basé sur l'IA et l'assistant virtuel fournis sur ce site Web peuvent ne pas toujours fournir des résumés complets ou des réponses exactes. Nous vous encourageons à examiner attentivement et à évaluer le contenu généré pour vous assurer de sa qualité et de sa pertinence par rapport à vos besoins.