xxxxxxxxxxxxx001
V2EX  ›  OpenAI

分享一个自制的 Token 计数器:精确计数 + 22 家大模型上下文/价格对比,纯前端本地运行

  •  1
     
  •   xxxxxxxxxxxxx001 · 5h 38m ago · 256 views

    起因是平时估 prompt 大小老要搜各种“字数转换”,要么不准,要么不知道用的哪套分词器,就自己写了一个,单文件纯前端:

    https://tliens.github.io/TokenLens/

    功能:

    • Token 精确计数:用 OpenAI 官方分词器( o200k / cl100k ),和 GPT-5/GPT-4o 官方计数一致
    • 其他厂商( Claude / Gemini / DeepSeek / Qwen / GLM / Kimi / Grok 等 22+ 模型)按经验系数估算,界面明确标了“精确 / 估算”徽标
    • 上下文窗口对比:柱状图上标出你这段文本在每个模型上下文里的位置,超限直接标红
    • 成本对比:这段文本作为一次输入各花多少钱 + 每百万 token 单价
    • 模型和价格在线同步 LiteLLM 开源数据库,可手动刷新,断网有内置兜底
    • 中英双语,深色模式

    实现:单 HTML 文件,无框架;分词用 js-tiktoken ( CDN 加载 o200k/cl100k 词表),模型数据 fetch LiteLLM 的 JSON 。文本全程不上传,唯一的外部请求是价格数据。

    开源: https://github.com/Tliens/TokenLens

    求反馈:模型覆盖、估算系数、界面都欢迎喷。

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3041 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 14:39 · PVG 22:39 · LAX 07:39 · JFK 10:39
    ♥ Do have faith in what you're doing.