LLM API 术语表
更新于
为开发者在调用 LLM 或语音转文字 API 时遇到的术语提供简短、附有来源的定义:token 和上下文窗口是什么,缓存输入和固定价格套餐如何改变账单,以及速率限制和零数据保留在实践中意味着什么。
API 与集成
- 并发(concurrency)
- 并发(concurrency)是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发,与每分钟请求数分开计算,因为每个未完成的请求在响应结束前都会占用 GPU 资源。
- 并行工具调用(parallel tool calls)
- 并行工具调用是指模型在一次响应中返回多个工具调用,例如同时读取三个文件。在 OpenAI 格式中,它们表现为 tool_calls 里的多个条目;把 parallel_tool_calls 设为 false,可把模型限制为每轮调用零个或一个工具。
- 从右到左(RTL)文本
- 从右到左(RTL)文本是指阿拉伯语、希伯来语等从右向左显示的文字。计算机按逻辑阅读顺序存储它;当它与从左到右的文字、数字、模型名或代码混排时,由 Unicode 双向算法决定显示顺序。
- 大模型路由(LLM router)
- LLM 路由是位于应用与一个或多个语言模型 API 之间的软件或服务,它根据成本、延迟、可用性或任务类型等规则,为每个请求决定由哪个模型或服务商来处理。
- 多智能体系统(multi-agent system)
- 多智能体系统是一种大模型应用:多个智能体各自拥有提示词、工具和上下文,分别处理同一任务的不同部分。常见设计是编排者-工作者模式:主智能体负责规划,并行启动多个工作智能体,再汇总它们的结果。
- 工具调用(tool calling / function calling)
- 工具调用(也叫函数调用,function calling)是大模型 API 的一项功能:模型返回一个结构化请求,要求执行开发者定义的某个函数,并附上 JSON 参数。应用执行该函数并把结果发回;模型自己从不执行代码。
- 混合检索(hybrid search)
- 混合检索是一种检索方法:对同一个查询同时运行关键词检索(如 BM25)和基于嵌入向量的向量检索,再把两份排序列表合并成一份,常用倒数排名融合(RRF)或归一化分数的加权求和。
- 结构化输出(structured output)
- 结构化输出是大模型 API 的一项功能,它把模型的回复约束为开发者指定的格式(通常是 JSON Schema),让代码能可靠地解析。它比 JSON mode 更严格:JSON mode 只保证输出是合法 JSON,不保证特定结构。
- 流式输出(streaming)
- 流式输出是一种在语言模型仍在生成时,就把回复分成小块陆续返回的方式,而不是在最后一次性返回。当请求把 stream 设为 true 时,OpenAI 兼容 API 会通过服务器发送事件(SSE)进行流式输出。
- 幂等键(idempotency key)
- 幂等键是客户端附在会改变状态的请求(如付款或购买)上的唯一值,通常是 UUID 之类的随机 ID。如果用同一个键再次发送同一请求,服务器会返回原来的结果,而不会把操作执行两次。
- 模型回退(model fallback)
- 模型回退是一种可靠性模式:失败的 LLM 请求会按一个有序列表在另一个模型或服务商上重试。触发条件可以是错误、速率限制、上下文长度错误或内容策略拒绝。它运行在你的客户端里,或运行在 API 前面的网关中。
- 模型弃用(model deprecation)
- 模型弃用是指 API 服务商宣布某个模型将停止提供,通常会给出下线(retirement 或 shutdown)日期和推荐的替代模型。过了这个日期,对该模型的请求会失败,所以应用必须提前迁移到另一个模型 ID。
- 批处理 API(Batch API)
- 批处理 API 是一种异步的大模型端点:它一次接收大量请求(通常以文件形式),在设定的时间窗口内处理而不是立即处理,最后统一返回结果。OpenAI 和 Anthropic 等服务商对批处理请求的定价低于其标准 API。
- 请求超时(request timeout)
- 请求超时(request timeout)是 HTTP 客户端在放弃请求之前等待服务器的最长时间。客户端通常把它拆成建立连接的连接超时和等待数据的读取超时。大模型调用需要宽松的读取超时,因为长回答本来就要花时间。
- 首 token 延迟(TTFT,time to first token)
- 首 token 延迟(TTFT)是从向语言模型发出请求到第一个输出 token 到达的时间。它包括网络时间、服务器上的排队时间和预填充(模型读取整个提示词的步骤),所以会随提示词长度和负载增加。
- 速率限制(rate limit)
- 速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限,例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝,通常返回 HTTP 429 Too Many Requests,直到用量回落到限制以下。
- 停止序列(stop sequences)
- 停止序列(stop sequences)是随请求发送的字符串,模型一旦生成其中任意一个就停止输出。OpenAI 的字段叫 stop,最多接受 4 个序列;Anthropic 叫 stop_sequences。匹配到的文本通常不会出现在返回结果里。
- 推理服务商(inference provider)
- 推理服务商是在自有、租赁或租用的 GPU 上运行机器学习模型(通常是开放权重的大模型),并通过 API 出售使用权的公司,通常按 token、按请求或按时间计价。它负责模型部署、扩缩容和硬件。
- 吞吐量(throughput)
- 在大模型推理服务中,吞吐量(throughput)是系统在所有并发请求上单位时间内完成的总工作量,通常以每秒输出 token 数或每秒请求数衡量。它不同于单路流速度,后者是单个请求接收 token 的快慢。
- 文本分块(chunking)
- 分块是检索流水线中把文档切成较小片段(称为块,chunk)的步骤,在嵌入和建索引之前进行。块大小决定每个片段容纳多少文本,块重叠则让相邻的块重复一部分文本,避免在边界处被切断的内容丢失。
- 系统提示词(system prompt)
- 系统提示词是应用在对话开始前发给语言模型的指令文本,通常是一条 system 或 developer 角色的消息。它设定模型的角色、规则、语气和输出格式,当用户消息与它冲突时,模型应当优先遵循它。
- 向量数据库(vector database)
- 向量数据库是存放嵌入向量的数据存储,通常连同原文和元数据一起保存,并回答最近邻查询:给定查询向量,返回与之最相似的已存向量,一般按余弦距离、欧氏距离或内积计算。
- 延迟(latency)
- 对于语言模型 API,延迟是一个请求从发出到收到最后一个输出 token 所用的时间。它等于首 token 延迟加上生成时间,通常以 p50、p95 等百分位而不是平均值来报告。
- 指数退避(exponential backoff)
- 指数退避(exponential backoff)是一种重试策略:客户端每失败一次,就等待更长时间再重试,通常把延迟翻倍,直到达到上限。在每次等待中加入随机抖动(jitter),可以把众多客户端的重试错开,避免它们在同一时刻打到服务器上。
- 重排序(reranking)
- 重排序是检索的第二阶段:用一个更精确但更慢的模型(通常是交叉编码器),对初次检索得到的每个“查询-候选文档”对打分并重新排序,只把最相关的少数几条交给语言模型。
- 子智能体(subagent)
- 子智能体是主智能体为处理一项明确任务而启动的独立智能体。它有自己的上下文窗口、系统提示词和工具权限,完成工作后只把结果或摘要返回给主智能体,从而让主对话保持精简。
- AI 编程智能体(AI coding agent)
- AI 编程智能体是一种软件工具,其中的语言模型在循环中处理代码库:读取文件、编辑文件、运行测试等命令、读取输出并决定下一步,直到任务完成或达到某个上限。
- AI 智能体(AI agent)
- AI 智能体是由语言模型自主决定步骤、朝目标推进的系统:它决定调用哪些工具、读取结果,然后重复,直到给出最终回答或触及上限。在固定位置调用模型的固定脚本,通常称为工作流(workflow)。
- Base URL(base_url)
- base URL 是 API 固定的根地址,例如 https://api.example.com/v1,客户端会把它加在每个端点路径(例如 /chat/completions)前面。在 OpenAI 兼容 SDK 中,修改 base URL,再配合 API 密钥和模型 ID,就能让同一份代码改用另一家服务商。
- BM25
- BM25(Okapi BM25)是关键词搜索的排序函数,它根据查询词在文档中出现的频率、这些词在整个文档集中有多罕见,以及文档有多长来给文档打分。它是 Lucene 和 Elasticsearch 默认的相似度算法。
- Chat Completions API(对话补全接口)
- Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions,它接收模型名称和一组带角色标记的消息,返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。
- finish_reason(结束原因)
- finish_reason 是对话补全响应中每个 choice 上的字段,说明模型为什么停止生成。在 OpenAI 格式中,取值有 stop、length、tool_calls、content_filter 以及已弃用的 function_call。Anthropic 的 Messages API 用 stop_reason 表达同样的含义。
- JSON 模式(JSON mode)
- JSON 模式(JSON mode)是大模型 API 的一项设置,在 OpenAI 风格的 API 中写作 response_format {"type": "json_object"},它让模型的回复成为合法、可解析的 JSON。与使用 JSON Schema 的结构化输出不同,它不保证对象里有哪些键、类型或取值。
- JSON Schema
- JSON Schema 是一套用 JSON 编写的词汇,用于描述和校验 JSON 数据的结构:类型、必填字段、允许的取值和嵌套。当前版本是 2020-12。大模型 API 用它来定义工具参数,以及结构化输出必须遵循的确切结构。
- MCP(模型上下文协议,Model Context Protocol)
- MCP(模型上下文协议)是一个基于 JSON-RPC 2.0 的开放协议,规范了大模型应用连接外部工具和数据的方式。MCP 服务器提供工具、资源和提示词;宿主应用中的 MCP 客户端发现它们,并把模型发出的工具调用转交给服务器。
- OpenAI 兼容 API(OpenAI-compatible API)
- OpenAI 兼容 API 是一种 HTTP API,它接受与 OpenAI API 相同的请求和响应格式,例如 POST /v1/chat/completions,因此 OpenAI 的 SDK 和工具只需修改 base URL、API 密钥和模型名称就能使用它。
- RAG(检索增强生成)
- RAG(检索增强生成)是一种模式:应用先从外部存储(例如搜索引擎或向量索引)中检索与问题相关的段落,再把它们加入提示词,让语言模型依据这些文本回答,而不只是凭记忆作答。
- ReAct(推理与行动)
- ReAct(推理与行动)是 Yao 等人于 2022 年提出的一种提示模式:语言模型把推理过程与搜索、工具调用等行动交替进行。它读取每次的观察结果,更新计划,如此循环,直到能给出最终答案。
- seed 参数(随机种子)
- seed 参数是随请求发送的一个整数,让 API 在重复同一请求时尽量采样出相同的 token。OpenAI 称其为尽力而为:不保证确定性,system_fingerprint 字段会显示后端配置何时发生了变化。
- Serverless 推理(serverless inference)
- Serverless 推理是一种运行机器学习模型的方式:平台自动启动、扩缩和停止端点背后的算力,空闲时常常缩到零,并按使用量而不是按预留机器计费。代价是可能出现冷启动延迟。
- SLA(服务等级协议)
- SLA(服务等级协议)是服务商在合同中对可衡量服务水平的承诺,通常是每月可用性百分比,并规定未达标时的补救方式,通常是服务抵扣。SLA 会定义什么算停机、哪些情况除外,以及如何申请赔付。
- SSE(服务器发送事件,Server-sent events)
- SSE(服务器发送事件,Server-sent events)是一项 Web 标准,让服务器通过一个内容类型为 text/event-stream 的长连接 HTTP 响应,向客户端推送一连串文本事件。每个事件由一行或多行字段(如 data:)组成,以一个空行结束。
- tool_choice(工具选择参数)
- tool_choice 是控制工具使用的请求参数。在 OpenAI 的 Chat Completions 中,它可以是 auto(由模型决定)、required(必须调用一个或多个工具)、none(不用工具),或指定某个函数强制调用。Anthropic 对应的取值是 auto、any、tool 和 none。
- Unicode 规范化(Unicode normalization)
- Unicode 规范化把文本转换成标准形式,让看起来相同的字符串使用相同的码位。共有 NFD、NFC、NFKD 和 NFKC 四种形式;带 K 的形式还会把兼容字符(如阿拉伯语表现形式和连字)折叠成普通字母。
模型与 token
- 阿拉伯语变音符号(tashkeel)
- 阿拉伯语变音符号(tashkeel)是写在字母上方或下方的小符号,用来标示短元音、辅音重叠和无元音。它们是可选的:包括新闻在内,大多数阿拉伯语文本都省略它们,读者和软件需要根据上下文推断元音。
- 阿拉伯语方言(dialectal Arabic)
- 阿拉伯语方言是某个地区或城市日常使用的口语阿拉伯语,例如埃及、海湾、黎凡特或马格里布阿拉伯语。方言在语音、词汇和语法上都不同于现代标准阿拉伯语,没有标准拼写,而且越来越多地出现在网络文字中,这让语言模型更难处理。
- 阿拉伯语方言识别(Arabic dialect identification)
- 阿拉伯语方言识别是判断一段文本或录音属于哪种阿拉伯语变体的任务,例如埃及、海湾、黎凡特、马格里布方言或现代标准阿拉伯语,粒度可以是地区、国家或城市。它用于消息路由、选择提示词和拆分评测集。
- 阿拉伯语文本规范化(Arabic text normalization)
- 阿拉伯语文本规范化是在匹配之前把同一个词的不同拼写统一成一种形式的步骤:去掉变音符号和 tatweel,统一 alef 的各种写法,通常还把 ى 映射为 ي、把 ة 映射为 ه。它用于搜索键和评测,不用于展示的文本。
- 词表大小(vocabulary size)
- 词表大小是语言模型分词器中不同 token 的数量,每个 token 都有自己的 ID 和嵌入向量。更大的词表能用更少的 token 编码常见文本,但会让嵌入层和输出层变大,而且只对词表训练时见过的文本有效。
- 大模型基准测试(LLM benchmark)
- 大模型基准测试是一组固定、通常公开的任务和评分方法,用来在某一项能力上衡量和比较语言模型,比如知识问答、编程或语音识别。基准分数反映的是模型在该测试上的相对能力,而不是它在你自己的业务负载上的表现。
- 对话模板(chat template)
- 对话模板是一套格式规则,通常用 Jinja 编写并随模型的分词器一起发布,它把带角色的对话消息列表转换成模型期望的单一 token 序列,包括模型专用的控制 token。用错模板会让模型的回答质量大幅下降。
- 多模态 AI(multimodal AI)
- 多模态 AI 是能处理多种数据类型(如文本、图像、视频和音频)的模型或系统。多模态模型可以同时读取一张照片和一个问题,或者输入语音、输出文本。视觉语言模型是最常见的一类。
- 分词器(tokenizer)
- 分词器是把文本转换成语言模型读取的整数 token ID 序列、并把生成的 ID 还原成文本的组件。每个模型都自带分词器,所以同一段文本在不同模型上可能产生不同数量的 token。
- 光学字符识别(OCR)
- 光学字符识别(OCR)是一种技术,能检测图片、扫描件或 PDF 中的印刷或手写文字,并转换成机器可读的字符。传统 OCR 输出文字及其在页面上的位置;视觉语言模型则能直接读取文字并回答相关问题。
- 海姆宰(hamza)
- Hamza(ء,海姆宰)是阿拉伯语表示声门塞音的字母。它可单独书写,也可写在 alef(أ إ)、waw(ؤ)或 yeh(ئ)上,آ 则是 alef 加 madda。由于输入文本对它的写法不一致,搜索引擎和语音评分常把 alef 形式统一为 ا。
- 混合专家模型(MoE)
- 混合专家模型(MoE)是一种神经网络设计:一层中包含许多专家子网络,由一个经过训练的路由器把每个 token 只发送给其中少数几个。MoE 语言模型的总参数量很大,但每个 token 只使用一小部分激活参数。
- 开放权重模型(open-weight model)
- 开放权重模型是公开发布训练好的权重、任何人都可以下载和运行的机器学习模型,通常附带有条件的许可证。它不同于完全开源的 AI,后者还会公开训练代码和训练数据的详细信息,让其他人能够研究并复现模型。
- 量化(quantization)
- 量化是把神经网络中的数值(主要是权重)从 16 位改用 8 位或 4 位等更低精度格式存储的过程,这样模型占用的显存更少,通常也运行得更快。好的量化方法能把精度损失控制得很小。
- 每秒 token 数(TPS,tokens per second)
- 每秒 token 数(TPS)是语言模型生成输出 token 的速率,通常针对单个请求、在首个 token 到达之后测量。它决定了回复开始后流得有多快。把所有并发请求加起来就是系统吞吐量;首个 token 之前的等待时间则单独测量。
- 命名实体识别(NER)
- 命名实体识别(NER)是在文本中找出名称、并为每个名称标注类型(如人物、机构或地点)的任务。传统系统给每个 token 打标签;大模型则通常被要求以 JSON 返回实体列表,再与原文核对。
- 模型许可证(model license)
- 模型许可证是规定模型权重、代码和输出可以如何使用、修改和分发的法律条款。开放权重模型采用 Apache 2.0、MIT 等标准软件许可证,或采用自定义模型许可证,后者可能附加条件,例如限制大型商业服务。
- 频率惩罚与存在惩罚(frequency / presence penalty)
- 频率惩罚与存在惩罚是一类采样设置,会降低输出中已出现 token 的分数。存在惩罚在 token 出现过一次后就生效;频率惩罚随每次重复而加大。在 OpenAI 的 API 中,两者的取值范围都是 -2.0 到 2.0,默认值为 0。
- 评测(eval,LLM evaluation)
- 评测(eval,evaluation 的简称)是对语言模型或提示词的可重复测试:一组固定的输入、对好输出的描述,以及给每个输出打分的评分器(代码、人工或另一个模型),以便比较不同版本。
- 嵌入向量(embeddings)
- 嵌入向量(embeddings)是模型为一段文本、一张图片或其他输入生成的浮点数列表(向量)。意思相近的输入会得到彼此接近的向量,因此可以用向量之间的距离来给搜索结果排序、对文档聚类或查找相关条目。
- 上下文窗口(context window)
- 上下文窗口是语言模型在单次请求中能处理的最大 token 数。它涵盖提示词、对话历史、工具定义、图片以及生成的输出(包括思考 token)。放不下的内容必须删减、摘要,或拆分到多个请求中。
- 上下文腐化(context rot)
- 上下文腐化是指语言模型的输入变长时,准确性和可靠性逐渐下降的现象,即使任务不变、输入远未超出上下文窗口也会发生。这个术语因 Chroma 2025 年一份测试了 18 个模型的技术报告而流行。
- 上下文工程(context engineering)
- 上下文工程是选择并维护模型每次请求所见 token 集合的工作,包括系统提示词、工具定义、历史记录、检索文档和笔记,让模型以最少的高信号信息把任务做好。
- 上下文压缩(context compaction)
- 上下文压缩是指在对话接近上下文窗口上限时对其进行摘要,并从这份摘要继续会话的做法,这样智能体能保留关键决策和状态,同时丢掉旧的工具输出等原始历史。
- 少样本提示(few-shot prompting)
- 少样本提示是一种在真实输入之前,先在提示词中放入少量“输入—输出”示例的技巧,让语言模型从中推断任务和格式。模型权重不会改变;零样本不用示例,单样本只用一个。
- 事实依据(grounding)
- Grounding(事实依据)是把语言模型的输出与具体、可核查的信息来源关联起来的做法,例如提供的文档、搜索结果或数据库记录,并要求模型依据这些来源作答。有依据的回答可以追溯到来源,也更不容易编造事实。
- 视觉语言模型(VLM,vision-language model)
- 视觉语言模型(VLM)是一种同时接收图像和文本作为输入、输出文本的模型,可以描述图片、回答关于图片的问题,并读取文档、图表或截图。VLM 也被称为图文生文(image-text-to-text)模型或多模态模型。
- 思考 token(reasoning tokens)
- 思考 token(reasoning tokens)是推理模型在写出可见回答之前、为解决问题而生成的 token。它们通常按输出 token 计费,计入输出上限和上下文窗口,API 可能将其隐藏或只返回摘要。
- 思维链(CoT,chain-of-thought)
- 思维链(CoT)是一种提示技巧:给语言模型示范或要求它在给出最终答案之前,先写出中间的推理步骤。它能提高算术、逻辑等多步问题的准确率,如今思考模型会自动生成思维链。
- 塔马尔布塔(taa marbuta,ة)
- Taa marbuta(ة,U+0629)是只出现在词尾的阿拉伯字母,常用来标记阴性名词和形容词。它看起来像带两个点的 heh(ه,U+0647),所以输入的文本常把两者混用,许多搜索规范化工具会把 ة 映射为 ه。
- 提示词工程(prompt engineering)
- 提示词工程是编写、组织和测试发给语言模型的指令的过程,目的是让模型稳定地产出符合要求的结果。它包括角色消息、清晰的指令、示例、格式,以及用测试用例衡量结果。
- 投机解码(speculative decoding)
- 投机解码是一种推理技术:由一个小而快的草稿模型提出接下来的若干 token,大的目标模型在一次前向计算中验证它们,并保留被接受的部分。它能加快生成,而不改变输出的分布。
- 图像 token(image tokens)
- 图像 token 是视觉语言模型用来在提示词中表示一张图片的输入 token。服务商根据图片尺寸计算其数量,通常是先缩放、再切成固定大小的图块,并像文本输入 token 一样计费,所以图片越大越贵。
- 微调(fine-tuning)
- 微调是在一个较小的特定任务数据集(例如示例对话)上继续训练预训练语言模型的过程,使其权重发生变化,从而更稳定地完成该任务或风格,而无需在每个提示词中写长指令或示例。
- 温度(temperature)
- 温度(temperature)是控制语言模型输出随机程度的采样参数。模型先把每个 token 的分数除以温度,再转换成概率:温度低时,最可能的 token 占据主导;温度高时,分布变得平坦,可能性较低的 token 被选中的次数更多。
- 现代标准阿拉伯语(MSA)
- 现代标准阿拉伯语(MSA)是阿拉伯世界在书面、新闻、教育和正式讲话中使用的标准化阿拉伯语。它不是任何人日常使用的母语:人们平时说埃及阿拉伯语、海湾阿拉伯语等地区方言,在正式场合才切换到 MSA。
- 知识蒸馏(knowledge distillation)
- 蒸馏(知识蒸馏)是一种训练方法:让较小的学生模型学习复现较大教师模型的输出,例如其概率分布或生成的回答,使学生模型以更低的运行成本保留教师模型的大部分质量。
- 中间迷失(lost in the middle)
- 中间迷失是指语言模型的一种已观察到的倾向:相关信息出现在长输入的开头或结尾时,模型利用得最好;出现在中间时,利用得最差。这一名称来自 Liu 等人 2023 年的研究。
- 字节对编码(BPE,byte pair encoding)
- 字节对编码(BPE)是一种子词分词算法:从单个字符或字节出发,反复把出现频率最高的相邻符号对合并成新的词表条目,直到达到目标词表大小。当前大多数大模型分词器使用 BPE 或它的字节级变体。
- AI 幻觉(hallucination)
- 幻觉是语言模型输出的、听起来合理但实际错误、凭空编造或没有输入依据的内容,例如虚构的引用、错误的数字或不存在的 API。它源于模型预测"可能的文本",而不是核查事实。
- Arabizi(拉丁字母阿拉伯语)
- Arabizi 是用拉丁字母非正式书写的阿拉伯语,没有拉丁对应的阿拉伯语音用数字表示,例如用 3 代表 ع。它在聊天和社交媒体中很常见,以方言为主,没有标准拼写,还经常夹杂英语或法语。
- AWQ(激活感知权重量化)
- AWQ(激活感知权重量化)是一种训练后量化方法,把大模型的权重压缩到低精度,通常是 4 位整数。它用一小份校准集的激活值统计找出最重要的权重通道,并对它们做缩放,以减少精度损失。它不需要反向传播。
- FP8(8 位浮点数)
- FP8 是深度学习中使用的 8 位浮点数格式,有两种编码:E4M3(4 位指数、3 位尾数)和 E5M2(5 位指数、2 位尾数)。与 16 位格式相比,它的显存占用减半,并在较新的 GPU 上原生运行。
- GGUF
- GGUF 是一种二进制文件格式,用于存储语言模型,供 llama.cpp 等基于 GGML 的运行时推理。一个 GGUF 文件包含权重(通常已量化)以及加载模型所需的元数据,如分词器和架构信息,并且可以通过内存映射快速加载。
- INT4(4-bit 量化)
- INT4 是一种能表示 16 个等级的 4-bit 整数格式。在大模型推理中,它通常指 4-bit 仅权重量化(W4A16):权重以 INT4 加缩放因子存储,计算时再展开为 16-bit,显存占用约为 16-bit 权重的四分之一。
- KV 缓存(KV cache)
- KV 缓存是 Transformer 语言模型存放已处理的每个 token 的注意力键(key)和值(value)的显存,让每个新 token 直接复用它们,而不必重新计算整个序列。它随上下文长度增长,常常决定一张 GPU 能同时服务多少请求。
- LLM-as-a-judge(大模型评审)
- LLM-as-a-judge 是一种评测方法:由一个语言模型给其他模型的输出打分,要么按评分标准给单个回答打分,要么从两个回答中挑出更好的一个。它以低得多的成本近似人工判断,但有已知偏差,比如偏爱排在前面或更长的回答。
- Logprobs(对数概率)
- Logprobs 是语言模型为其生成的各个 token 给出的对数概率。返回 logprobs 的 API 会显示每个输出 token 被模型判断的可能性有多大,还可以选择列出该位置上最可能的候选 token。
- LoRA(低秩适配)
- LoRA(低秩适配)是一种参数高效的微调方法:冻结预训练模型的权重,只为选定的层训练一对小的低秩矩阵。学到的更新可以存成一个小的适配器,也可以合并进权重,不会增加推理延迟。
- max_tokens(最大输出 token 数)
- max_tokens 是大模型 API 的一个参数,用于设定模型在一次回复中最多能生成多少 token。生成达到上限时就会停止,响应会被标记为截断,例如 finish_reason 为 "length"。
- Prefill 与 Decode(预填充与解码)
- Prefill(预填充)和 Decode(解码)是大模型推理的两个阶段。Prefill 阶段模型并行处理整个提示词并填充 KV 缓存;Decode 阶段模型复用该缓存,逐个 token 生成回复。Prefill 主要决定首 token 延迟,Decode 决定输出速度。
- Token(词元)
- token(词元)是大语言模型读写文本的基本单位:由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制,通常也按 token 计费。
- Top-p(核采样,nucleus sampling)
- Top-p 又叫核采样(nucleus sampling),是一种解码方法:语言模型只在“累计概率达到阈值 p(如 0.9)的最小高概率 token 集合”中采样下一个 token,丢弃不太可能的长尾。
- vLLM
- vLLM 是一个用于 LLM 推理和服务部署的开源库,最初由加州大学伯克利分校 Sky Computing Lab 开发。它用 PagedAttention 管理 KV 缓存内存,对请求做连续批处理,支持多种量化格式,并提供 OpenAI 兼容的 HTTP 服务器。
定价与计费
- 按量付费(pay-as-you-go)
- 按量付费是一种计价模式:你只为实际用量付费,按 token、请求次数或音频分钟等单位计量,没有订阅费,也没有最低消费承诺。大多数大模型 API 都这样计费,从预付余额中扣减或定期开具账单。
- 大模型包月套餐(flat-rate LLM plan)
- 大模型包月套餐(固定价格套餐)是按一个周期(如一个月)收取固定费用、提供大模型 API 使用权的计价方式,不按 token 计费。这类套餐通常会限制别的东西,如并发、速度、模型或使用时间窗口,所以限制条件和价格同样重要。
- 缓存输入 token(cached input tokens)
- 缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token,通常是重复的前缀,例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。
- 输入 token 与输出 token
- 输入 token 是语言模型在一次请求中读取的 token,包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token,包括思考内容。大模型 API 通常分别计价,输出一般更贵。
- 消费上限(spend limit)
- 消费上限是对 API 账户、项目或密钥在一段时间(通常是一个月)内可花费金额的限制。用量达到上限后,服务商会拒绝后续请求,常返回 HTTP 429 或 400 错误,直到周期重置或上限被调高。
- 预付额度(prepaid credit)
- 预付额度是在使用前存入 API 账户的资金。每个请求的费用从余额中扣除,余额用完后,计量计费的请求会停止,直到你充值。它把支出上限锁定在你已支付的金额之内。
- GPU 小时(GPU-hour)
- GPU 小时是指一块图形处理器使用一小时。云服务商按小时或按秒对租用的 GPU 实例计费,研究人员也用 GPU 小时来说明一项任务消耗了多少算力。你为机器的时间付费,无论它是否在忙。
隐私与安全
- 次级处理者(subprocessor)
- 次级处理者是处理者为代表控制者处理个人数据而委托的第三方。对大模型 API 而言,次级处理者可能包括 GPU 托管方、合作推理服务商和备用算力。根据 GDPR 第 28 条,它们需要获得控制者授权,并承担同样的数据保护义务。
- 个人身份信息(PII)
- 个人身份信息(PII)是可用于区分或追溯个人身份的信息,例如姓名、身份证号或生物特征记录,以及与该人关联或可关联的其他信息。GDPR 用的是更宽泛的“个人数据”。在大模型应用中,PII 脱敏会在提示词离开你的系统之前将其移除。
- 护栏(guardrails)
- 护栏是应用在调用语言模型前后运行的检查,让调用保持在设定的范围内。输入护栏筛查进入模型的内容,输出护栏检查模型产出的内容,工具护栏在操作执行前进行校验。检查不通过时,会拦截、改写或标记该请求。
- 零数据保留(ZDR)
- 零数据保留(ZDR)是一种数据处理政策:AI 服务商只为完成请求而处理提示词和输出,之后不在日志、缓存或训练数据中存储这些内容。不含内容的记录,如 token 数和耗时,通常仍会保留。
- 数据处理协议(DPA)
- 数据处理协议(DPA)是控制者与处理者之间的合同,规定处理者如何处理个人数据。GDPR 第 28(3) 条要求签订此类合同,并列出其内容:书面指示、保密、安全措施、次级处理者规则、数据删除或返还,以及审计。
- 数据驻留(data residency)
- 数据驻留是指数据须在特定国家或地区存储和处理的要求或承诺。对大模型 API 而言,它涵盖推理时提示词在哪里处理、存储的内容放在哪里,通常不包括账户和计费数据。
- 提示词注入(prompt injection)
- 提示词注入是一种攻击:用户输入的文本,或藏在网页、邮件、文件、工具结果中的文本,被提供给语言模型后,违背开发者的意图改变了模型的行为。OWASP 在其大模型应用 Top 10 中把它排在第一位(LLM01:2025)。
- 越狱(LLM jailbreak)
- 越狱是专门构造的输入,目的是让语言模型无视其安全训练或部署应用设定的规则,从而生成它通常会拒绝的内容或执行这类操作。OWASP 把越狱视为提示词注入的一种形式。
- API 密钥(API key)
- API 密钥是一串用于识别和授权 API 调用方的秘密字符串。大模型 API 通常要求把它放在 Authorization: Bearer 请求头里,任何持有该密钥的人都能发起请求,费用记在拥有该密钥的账户上。
- GDPR(通用数据保护条例)
- GDPR(《通用数据保护条例》,欧盟第 2016/679 号条例)是欧盟关于个人数据处理的法律,自 2018 年 5 月 25 日起适用,覆盖在欧盟设立的组织以及部分欧盟以外的组织。对大模型 API 而言,它管辖处理者合同、跨境传输和数据最小化。
- IP 白名单(IP allow list)
- IP 白名单是一种安全控制:只接受来自列出的 IP 地址或 CIDR 网段的请求,拒绝其他所有请求。用在 API 上,它能限制密钥泄露造成的损失,因为密钥在不在列表中的网络上无法使用。
- PDPL(沙特与阿联酋个人数据保护法)
- PDPL(个人数据保护法)通常既指沙特阿拉伯依皇家法令 M/19 颁布、由 SDAIA 执行的个人数据法,也指阿联酋 2021 年第 45 号联邦法令。两者都规范个人数据处理,并对向境外传输(包括发往外国大模型 API 的提示词)设定条件。
语音
- 采样率(sample rate)
- 采样率是每秒采集的音频样本数,单位为赫兹(Hz)。语音识别模型通常要求 16,000 Hz(16 kHz)单声道音频。采样率与位深、声道数一起,决定了未压缩音频每分钟的文件大小。
- 词错误率(WER,word error rate)
- 词错误率(WER)是语音识别的标准准确率指标:把转写结果改成正确参考文本所需的替换、删除和插入词数,除以参考文本的词数。数值越低越好。
- 时间戳(语音转文字,timestamps)
- 语音转文字中的时间戳,是附在转写片段上的开始和结束时间,单位为秒。片段级时间戳覆盖一个短语或句子,词级时间戳覆盖每个词。制作字幕、在录音中搜索以及把文字与说话人对齐都需要它。
- 说话人分离(speaker diarization)
- 说话人分离是把一段录音按说话人切分成片段的任务,回答“谁在何时说话”。它给每段语音打上 SPEAKER_00 这样的匿名说话人标签,通常与转写文本结合,显示每句话是谁说的。
- 文本转语音(TTS,text-to-speech)
- 文本转语音(TTS),也叫语音合成,是把书面文字转换成语音的技术。TTS API 接收文本、音色和输出格式(如 MP3 或 WAV),返回生成的语音。它与把音频转成文字的语音转文字方向相反。
- 语码转换(code-switching)
- 语码转换是在同一段对话或同一句话中使用两种或更多语言,或同一语言的不同变体,口语和书面语都有。例如讲阿拉伯语的人在方言里夹杂英语单词,或在现代标准阿拉伯语和方言之间来回切换。
- 语音活动检测(VAD)
- 语音活动检测(VAD)是一种信号处理步骤,把音频切成短帧并判断每帧是否为语音。语音系统用它跳过静音、在停顿处切分长录音、判断说话人是否说完,并避免转写背景噪声。
- 语音转文字(speech-to-text)
- 语音转文字,也叫自动语音识别(ASR),是把口语音频转换成书面文字的技术。语音转文字 API 接收音频文件或音频流并返回转写文本,通常按音频分钟计价。准确率用词错误率衡量,会随口音、方言和录音质量变化。
- 字错误率(CER,character error rate)
- 字错误率(CER)在字符层面衡量转写或 OCR 的准确度:把输出变成参考文本所需的替换、删除和插入次数,除以参考文本的字符数。越低越好,0 表示完全一致。
- Ogg Opus
- Ogg Opus 是用 Opus 编解码器(RFC 6716)编码、存放在 Ogg 容器(RFC 7845)中的音频。它专为低码率下的语音和实时交互音频设计,也是 WhatsApp 语音消息使用的格式,文件通常为 .ogg 或 .opus。
- SRT 字幕(SRT subtitles)
- SRT(SubRip)是一种纯文本字幕格式。每条字幕由序号、写成 hh:mm:ss,mmm --> hh:mm:ss,mmm 的开始和结束时间、一行或多行文字,以及一个空行组成。WebVTT 是 HTML 视频使用的类似网页格式。
- WAV
- WAV(Waveform Audio File Format,又称 WAVE)是建立在微软与 IBM 的 RIFF 格式之上的音频容器。它通常存放未压缩的线性 PCM 样本,因此大小可以预测:每秒字节数 = 采样率 × 每样本字节数 × 声道数。