關鍵評論網AI也有語言歧視？200多種語系實測揭開「隱形語言稅」，台羅比華語多花七成token
署名 TNL國際編譯全文約 4,606 字
文章摘要
關鍵評論網 · 文章頁摘要國際研究發現，同一段內容在單一AI模型裡，不同語言的token數最多差17倍。《關鍵評論網》用教育部辭典8569句自測，台語寫成台羅要多切出七成到一倍半token。
跨領域組織「AI語言公平研究聯盟」（Coalition for Language Equity in AI Research，CLEAR）9月發表研究，拿同一批譯成200多種語言的句子，比較各家AI模型的分詞器（tokenizer）要把它們切成多少token。...