分词
分词器 (tokenizer)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《大模型背后：推理引擎到底在干什么》(18:10起):做输入预处理的进程,通常多个并行(因输入 token 到达速率远高于输出);模型刚发布时常有小 bug,窍门是把 token ID 也记进日志
② 出现在这些集
1 集
- 《大模型背后：推理引擎到底在干什么》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
Charles Frye · Modal · SGLang · vLLM · PyTorch · NVIDIA · Cognition · 推理 · 推理引擎 · 调度器