Token Counter
对比多种 Hugging Face 托管的大预言模型分词器的 token 数量,预载一些模型便于用户快速使用
安装次数
点赞
应用评论
催更次数
桌面端
移动端



应用描述
在输入框粘贴文本,或上传一个/多个文本文件;在“内置模型分词器”中选择想对比的模型,或在“高级选项”的“自定义模型分词器”里填写额外模型 ID,然后点击“开始计数”查看各模型的 token 数量。 若远端微服无法联网,可展开“高级选项”,进入“自定义模型分词器”弹窗,通过“离线缓存预载”导入本机下载的 tokenizer 文件;或点击“回滚到资源包”恢复应用内置分词器。 也可以从懒猫网盘右键选择文本文件,用本应用直接打开并计数。
懒猫评分/评论
0.0
0 条评论
应用信息
新功能
版本历史记录- 新增内置分词器按需解压功能,首次启动只解压所需模型,并展示解压进度,降低内存和磁盘压力 - 分词器缓存迁移至用户目录,方便备份、卸载和迁移时管理 - 打开网盘文件时,若缓存未就绪会自动完成初始化,减少手动操作 - 支持通过配置文件持久化自定义模型,并提供模型管理接口 - 新增 Token Counter Skill 文档页面,展示使用场景和缓存管理方法 - 在懒猫微服中增加 Skill 文档入口,方便查看使用说明 - 压缩内置模型文件,减小下载体积 - 安装内置模型后前端无刷新更新列表,避免整页闪白 - 优化 Skill 文档页面,采用更轻量的实现,支持中英双语切换 - 新增首次启动引导,初始化完成有提示,对话框统一管理,避免层级混乱 - 调整应用图标和图像细节 - Skill 文档的语言切换按钮移至更合理位置 - Skill 文档内容改为面向最终用户的使用指南,补充中英双语用例,仅使用内置模型示例 - 修复构建阶段误删组件导致镜像无法启动的问题 - 修复文件选择器在某些情况下无法正常拦截文件的问题 - 去除生产环境中不必要的警告信息 - 修复 Skill 页面表单提交行为和可访问性细节
此 App 尚未收到足够的评分或评论,无法显示评论列表。