是什么
Token(词元)是大模型处理文本的最小单位。模型并不直接读「字」或「词」,而是先用分词器(tokenizer)把文本切成一个个 token——可能是一个汉字、半个英文单词、一个标点或一个子词片段。经验上,1 个 token 大约对应 0.5~1 个汉字,或约 0.75 个英文单词,但具体随分词器与内容而变。
为什么重要
Token 是理解大模型成本与容量的基础单位。第一,API 几乎都按 token 计费,且通常分「输入价」与「输出价」(输出更贵,因为要逐 token 生成);第二,模型的上下文窗口也以 token 衡量,决定一次能处理多长内容。算清一项任务大概消耗多少 token,才能估算费用——这也是本站大模型库提供成本计算器的原因。
与五层蛋糕的关系
Token 是「模型」层对外计量与计价的通用单位,往下直接对应「芯片」与「基础设施」层的算力消耗——每生成一个输出 token,都要完整跑一遍模型前向计算。往上,「应用」层产品的毛利结构,很大程度上取决于每次交互烧掉多少 token。
在大模型库查
各模型的输入/输出/缓存 token 价格可在本站大模型库对比,并用页内成本计算器按你的用量估算费用;想找便宜或免费档模型见最便宜 / 免费大模型。