ttok 1.0 发布：默认切换到 GPT-5/GPT-6 分词器
Simon Willison15 天前
ttok 1.0 发布
ttok 1.0 已发布。这次版本升级的直接原因，是作者在发布 ttok 0.4 后，运行 uv tool upgrade ttok 并将文件通过管道输入新版工具时，发现它仍然默认使用 GPT-4 分词器。
作者认为，当前更合理的默认选择应当是 GPT-5/GPT-6 分词器，因此借此机会发布了 1.0 版本。
默认分词器改为 GPT-5/GPT-6
此次 1.0 的核心变化，是将默认分词器从 GPT-4 切换到 GPT-5/GPT-6。
不过，OpenAI 目前尚未正式确认 GPT-6 是否与 GPT-5 系列使用相同的分词器。围绕这一点，社区中也已有相关讨论。
关于 GPT-6 分词器的实验观察
有开发者对多个 GPT 模型进行了对比实验。实验结果显示，以下七个 GPT 模型在 31 组测试样本上的 token 计数完全一致：
- GPT-5.5
- GPT-5.6 Sol
- GPT-5.6 Terra
- GPT-5.6 Luna
- GPT-6 Astra
- GPT-6 Sol
- GPT-6 Luna
这些模型均报告了 44,794 个 token，并且在所有 31 个测试样本上的结果相互匹配。该实验观察认为，在这组语料上，GPT-6 没有引入输入 token 计数变化。
需要注意的是，这仍属于实验结果，并非 OpenAI 的官方确认。