为印度语言构建 AI 的隐性成本：Tokenizer 税与评估难题

用 OpenAI 的 cl100k_base tokenizer，同样内容在印度语言下平均消耗 8 倍 token，Hindi 为 4.1x，Malayalam 高达 13x，印度语言用户实际可用上下文窗口仅为英语用户的 12%。