美帝码工 (@mintaqrua) 在 Claude 比 GPT 更费 token 的真相中发帖Claude 的 tokenizer 非常诡异，相比 GPT，相同长度的内容实际上消耗的 token 可能差一倍，大家可以自己测测看

美帝码工 (@mintaqrua) 在 Claude 比 GPT 更费 token 的真相中发帖

Claude 的 tokenizer 非常诡异，相比 GPT，相同长度的内容实际上消耗的 token 可能差一倍，大家可以自己测测看。所以 Claude 看似 100万，实际上只有 500K 
 [image] 
下面的内容，GPT的新模型大约在9000 token左右，而。Cloud则接近 18000 
Reference entry 0000 describes an archive with twelve copper lanterns, five wooden tables, nine ceramic bowls, and a quiet lake beside the northern mountain.
Reference entry 0001 describes an archive with twelve copper lanterns, five wooden table...