词元
下载爱思想APP，推送实时更新
词元（Token）是人工智能大模型处理自然语言的最小离散符号单元，2026 年 3 月由中国官方定为标准中文译名。它是文本经切分或编码后不可再分的基本信息载体，中文常为单字或词语、英文可为单词或子词，标点、数字、空格也可作为独立词元。词元是模型理解、生成与计算语言的基础 “积木”，既是上下文长度的计量单位，也是 AI 服务的计费与定价基准，堪称智能时代的 “信息原子” 与价值锚点。
最新文章
- 2026-06-08 10:53
- 2026-06-08 10:51
- 2026-06-08 10:49
- 2026-06-08 10:47
- 2026-06-08 10:04
- 2026-06-08 10:02
- 2026-06-08 10:00
- 2026-06-08 09:58
- 2026-06-08 09:57
- 2026-06-08 09:51
- 2026-06-07 18:28
- 2026-05-29 06:58
- 2026-05-10 23:11
- 2026-05-10 21:04
- 2026-05-09 17:41
- 2026-04-28 22:15
- 2026-04-23 15:29