|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
💡 深入理解Token
-
Token化：从文字到模型语言的过程 将原始文本转换成Token序列的过程称为Tokenization（分词）。这个过程依赖于一个名为分词器的组件和一份庞大的预定义“词汇表”。分词器会尝试将输入的文本与词汇表进行匹配，找到最长可能的Token组合。例如，句子“我喜欢吃葡萄”可能会被切分成 ["我", "喜欢", "吃", "葡萄", "。"]这样一个Token序列，每个Token都有其唯一的数字编号。 -
为什么使用Token？ 大模型不直接处理字符，主要基于效率考量： -
计算效率：处理几千个Token的序列远比处理几万个字符的序列高效。 -
信息密度：一个Token（如“人工智能”）比多个单字（“人”、“工”、“智”、“能”）携带更丰富的语义。 -
处理未知词汇：遇到陌生长单词时，可将其拆分为已知的子词Token，模型能据此推测含义。
-
-
Token的实用影响 作为用户，Token会直接影响你使用大模型服务的体验： -
上下文窗口：模型能处理的输入和输出文本总长度，通常以Token数量计。例如，一个上下文窗口为4096 Token的模型，无法处理超过此长度的对话。 -
计费方式：绝大多数商业大模型API（如OpenAI的ChatGPT、字节跳动的豆包）都按Token数量计费。费用通常区分为输入Token（你发送给模型的提示文本）和输出Token（模型生成的回答），后者成本一般更高。 -
生成速度：模型的响应速度常以 Tokens/秒 来衡量。
-
