是什麼
Token(詞元)是大模型處理文本的最小單位。模型並不直接讀「字」或「詞」,而是先用分詞器(tokenizer)把文本切成一個個 token——可能是一個漢字、半個英文單詞、一個標點或一個子詞片段。經驗上,1 個 token 大約對應 0.5~1 個漢字,或約 0.75 個英文單詞,但具體隨分詞器與內容而變。
為什麼重要
Token 是理解大模型成本與容量的基礎單位。第一,API 幾乎都按 token 計費,且通常分「輸入價」與「輸出價」(輸出更貴,因為要逐 token 生成);第二,模型的上下文窗口也以 token 衡量,決定一次能處理多長內容。算清一項任務大概消耗多少 token,才能估算費用——這也是本站大模型庫提供成本計算器的原因。
與五層蛋糕的關係
Token 是「模型」層對外計量與計價的通用單位,往下直接對應「芯片」與「基礎設施」層的算力消耗——每生成一個輸出 token,都要完整跑一遍模型前向計算。往上,「應用」層產品的毛利結構,很大程度上取決於每次交互燒掉多少 token。
在大模型庫查
各模型的輸入/輸出/緩存 token 價格可在本站大模型庫對比,並用頁內成本計算器按你的用量估算費用;想找便宜或免費檔模型見最便宜 / 免費大模型。