AI基础-什么是“Token”？什么是“词元”？两者什么关系？

Token 是多领域通用术语，在 AI 领域指"词元"（大模型处理文本的最小单位），在区块链领域指"通证/代币"（数字权益凭证），在计算机安全领域指"令牌"（身份验证凭证），英语本义为"代币、象征物、凭证"。

AI 大模型中的 Token（词元）：2026 年 3 月 23 日，国家数据局正式将 Token 的中文译名确定为"词元"，定性为"智能时代的价值锚点"和连接技术供给与商业需求的"结算单位"。它是大模型处理自然语言的最小基本单元，人类语言需经分词器转换为 Token 序列才能被 AI 识别，标点符号、空格也算 1 个 Token。
区块链中的 Token（通证/代币）：核心定位是去中心化的价值与权益凭证，全称"可流通的加密数字权益证明"。比特币、以太坊 ETH 属于区块链原生 Token，NFT 属于非同质化 Token，代表数字作品、艺术品的专属所有权。2026 年 1 月，中国香港针对 RWA 通证等数字资产的银行资本金规则生效。
计算机安全中的 Token（令牌）：是临时身份凭证，用于验证用户权限，用完即失效。日常登录网页、使用 APP 时收到的验证码、登录令牌都叫 Token，如微信登录第三方小程序、手机银行动态口令等，有明确有效期。
英语单词 Token 的基本含义：发音为英 [ˈtəʊkən]、美 [ˈtoʊkən]，作为名词时代币、象征物、礼券、令牌及语言符号等；形容词描述象征性或形式化的事物。常见短语"by the same token"（同理）、"as a token of"（作为…标志）。

计费逻辑：AI 服务按 Token 数量收费，因为每处理、生成一个 Token 都需消耗算力、电力和存储资源，Token 数量直接对应计算成本。计费公式为：总费用 = (输入 Token 数 + 输出 Token 数) × 单价，输出 Token 通常比输入更贵。
2026 年主流模型价格参考（每百万 Token）：
- 高端模型：Claude Opus 4.6 输入 5 美元/输出 25 美元，GPT-5.2 输入 1.75 美元/输出 14 美元。
- 中端模型：GPT-5.1 输入 1.25 美元/输出 10 美元，Claude Sonnet 4.5 输入 3 美元/输出 15 美元。
- 经济模型：Gemini 2.5 Flash 输入 0.30 美元/输出 2.50 美元，DeepSeek V3.2 输入 0.25 美元/输出 0.38 美元。
Token 数量估算：中文 1 个汉字约 1.2-1.5 个 Token，英文 1 个单词约 0.7-1.3 个 Token，标点符号每个约 1 个 Token。例如"我喜欢你！"在主流大模型中通常被拆分为「我、喜欢、你、！」4 个 Token。

防范诈骗风险：当前各类"词元骗局"层出不穷，如用低价 AI 词元套餐、词元投资等噱头诱骗用户资金，宣称"囤词元能暴富""场外交易赚差价"等行为涉嫌非法金融活动。AI Token 本质是计算计量单位，没有交易价值，不能买卖流通。
信息安全防护：不法分子可通过跨站脚本攻击、公共 Wi-Fi 嗅探等方式窃取未加密的词元，一旦泄露可直接盗用用户身份、获取隐私信息、实施诈骗转账。若词元缺乏加密或签名防护，还可能被伪造篡改权限字段。
优化使用成本：企业和个人应从"持有 Token"转向"管理 Token"，通过精简冗余提示词、优化 Prompt 设计能力来降低费用。删除冗余词语、用简洁表达方式、限制 max_tokens 参数、长文本分段生成都是省钱技巧。