Benchmark · 2026-09-30

三个模型在同一套脚本下的成绩

性能用 vllm bench serve 的随机数据集和固定长度压测，质量用指标解读里定义的七项测试。三个部署的卡数和并行方式不同，比较时请对照配置。

部署配置

模型	配置
GLM-5.3-Flash	8 × A800，TP4 × PP2，FP8 权重 Marlin W8A16，max-model-len 1M，max-num-seqs 16
Qwen3.6-35B-A3B	2 × A800，TP2，BF16，max-model-len 128K，max-num-seqs 64
Qwen3.8-27B	2 × A800，TP2，BF16，max-model-len 128K，max-num-seqs 64
nanochat-d32-sft	自己训练的 d32（28 亿参数，SFT 后），1 × A800，nanochat 引擎无批处理，上下文 2048，质量题量减半
nanochat-d32-rl	d32 在 GSM8K 上做完强化学习后，其余同上，只测质量
nanochat-d24-sft	自己训练的 d24（13.8 亿参数，SFT 后），1 × A800，nanochat 引擎无批处理，上下文 2048，质量题量减半
nanochat-d24-rl	d24 在 GSM8K 上做完强化学习后，其余同上，只测质量
nanochat-d12-sft	自己训练的 d12（2.9 亿参数，SFT 后），1 × A800，nanochat 引擎无批处理，上下文 2048，质量题量减半
nanochat-d12-rl	d12 在 GSM8K 上做完强化学习后，其余同上，只测质量

性能

GLM-5.3-FlashQwen3.6-35B-A3BQwen3.8-27Bnanochat-d32-sftnanochat-d24-sftnanochat-d12-sft

左图是输出吞吐随并发的变化，右图是单请求 TPOT 随并发的变化。并发 1 的点来自 128 入 / 256 出的单流场景，其余来自 1K 入 / 256 出。

三个现象。激活参数决定 decode 速度：同样 2 张卡，Qwen3.6 每步只读 3B 激活参数，Qwen3.8 要读全部 27B，单流速度差 3.5 倍。并发曲线的形状：Qwen3.6 从并发 1 到 32 吞吐涨 11 倍而 TPOT 只从 5.8 涨到 17 ms，这是"权重每步只读一次"的收益。GLM 的吞吐在并发 16 和 32 都是 290 tok/s，32 时 TTFT 跳到 15.6 秒，因为服务的 max-num-seqs 设了 16，多出的请求在排队；加上 Ampere 上的 Triton 回退内核和流水线气泡，每卡吞吐只有 Qwen3.6 的 1/23，是最值得优化的一项。

模型	场景	并发	输入 / 输出 token	输出吞吐 tok/s	总吞吐 tok/s	TTFT 中位 ms	TTFT P99 ms	Prefill tok/s	TPOT 中位 ms	TPOT P99 ms	单流 tok/s	端到端中位 s
GLM-5.3-Flash	单流 128 入 / 256 出	1	140 / 256	48	74	215	293	652	20.1	20.1	50	5.3
GLM-5.3-Flash	单流 2K 入	1	2060 / 32	27	1,734	322	1,799	6,407	20.2	20.2	49	0.9
GLM-5.3-Flash	单流 8K 入	1	8204 / 32	19	5,018	884	1,413	9,283	20.1	20.1	50	1.5
GLM-5.3-Flash	单流 32K 入	1	32780 / 32	11	10,976	2,364	2,414	13,866	19.6	19.8	51	3.0
GLM-5.3-Flash	并发 4，1K 入 / 256 出	4	1036 / 256	99	501	540	682	1,919	38.3	39.4	26	10.3
GLM-5.3-Flash	并发 8，1K 入 / 256 出	8	1036 / 256	172	868	989	1,057	1,048	42.6	45.8	23	11.9
GLM-5.3-Flash	并发 16，1K 入 / 256 出	16	1036 / 256	289	1,460	1,787	1,865	580	48.4	54.6	21	14.1
GLM-5.3-Flash	并发 32，1K 入 / 256 出	32	1036 / 256	290	1,466	15,644	15,990	66	49.0	54.5	20	28.2
GLM-5.3-Flash	并发 16，4K 入 / 512 出	16	4108 / 512	251	2,262	3,913	4,912	1,050	55.7	65.6	18	31.5
Qwen3.6-35B-A3B	单流 128 入 / 256 出	1	138 / 256	149	229	100	735	1,375	5.8	5.9	173	1.6
Qwen3.6-35B-A3B	单流 2K 入	1	2058 / 32	66	4,281	194	840	10,630	5.8	6.1	173	0.4
Qwen3.6-35B-A3B	单流 8K 入	1	8203 / 32	68	17,434	290	321	28,257	5.6	5.6	178	0.5
Qwen3.6-35B-A3B	单流 32K 入	1	32779 / 32	23	23,941	1,183	1,250	27,700	5.3	5.3	188	1.3
Qwen3.6-35B-A3B	并发 4，1K 入 / 256 出	4	1034 / 256	346	1,744	206	2,349	5,030	8.0	15.9	124	2.2
Qwen3.6-35B-A3B	并发 8，1K 入 / 256 出	8	1034 / 256	568	2,865	304	2,310	3,402	10.3	17.2	97	2.9
Qwen3.6-35B-A3B	并发 16，1K 入 / 256 出	16	1034 / 256	952	4,798	357	2,562	2,899	12.9	21.2	78	3.6
Qwen3.6-35B-A3B	并发 32，1K 入 / 256 出	32	1034 / 256	1,649	8,313	603	1,108	1,715	17.1	18.8	58	5.0
Qwen3.6-35B-A3B	并发 16，4K 入 / 512 出	16	4106 / 512	967	8,718	1,035	1,859	3,965	14.5	16.3	69	8.5
Qwen3.8-27B	单流 128 入 / 256 出	1	180 / 256	48	82	86	102	2,095	20.6	20.6	49	5.3
Qwen3.8-27B	单流 2K 入	1	2100 / 32	33	2,189	331	366	6,347	20.6	20.6	49	1.0
Qwen3.8-27B	单流 8K 入	1	8245 / 32	20	5,209	949	961	8,692	20.6	20.6	49	1.6
Qwen3.8-27B	单流 32K 入	1	32821 / 32	7	7,078	3,995	4,028	8,215	20.6	20.6	49	4.6
Qwen3.8-27B	并发 4，1K 入 / 256 出	4	1076 / 256	169	881	621	684	1,732	21.2	22.8	47	6.0
Qwen3.8-27B	并发 8，1K 入 / 256 出	8	1076 / 256	317	1,652	586	1,043	1,837	22.7	25.6	44	6.5
Qwen3.8-27B	并发 16，1K 入 / 256 出	16	1076 / 256	542	2,822	791	1,944	1,360	24.9	30.4	40	7.6
Qwen3.8-27B	并发 32，1K 入 / 256 出	32	1076 / 256	845	4,399	1,366	4,082	788	28.6	38.8	35	9.7
Qwen3.8-27B	并发 16，4K 入 / 512 出	16	4148 / 512	423	3,848	3,848	6,385	1,078	30.5	36.8	33	19.5
nanochat-d32-sft	单流 128 入 / 256 出	1	128 / 116	19	40	43	49	3,011	59.7	106.4	17	6.8
nanochat-d32-sft	并发 4，1K 入 / 256 出	4	384 / 98	38	188	3	3	143,776	56.9	85.0	18	13.9
nanochat-d24-sft	单流 128 入 / 256 出	1	128 / 123	29	59	42	44	3,032	53.2	60.3	19	4.2
nanochat-d24-sft	并发 4，1K 入 / 256 出	4	384 / 72	50	316	2	3	155,751	38.5	44.6	26	7.3
nanochat-d12-sft	单流 128 入 / 256 出	1	128 / 178	71	121	43	44	2,982	12.9	17.0	77	2.9
nanochat-d12-sft	并发 4，1K 入 / 256 出	4	384 / 62	84	607	3	3	145,498	23.3	291.9	43	3.0

关于 nanochat 的六行。 这是训练实录里自己从零训练的三个模型，各有 SFT 后和强化学习后两个版本，通过一个 OpenAI 兼容的小服务接进同一套脚本。它们跑在单张卡的 nanochat 引擎上，没有批处理，上下文只有 2048，所以只测了单流和并发 4、没有长上下文档，质量测试题量减半，RL 版本只测质量。数字本身不好看，但"自己训的模型和前沿开源模型差多远"从此有了同一口径的答案。
一个修正：第一次测时，那个小服务在工作线程里跑生成，而 nanochat 的计算器靠 SIGALRM 设超时，只能在主线程用。每次调用计算器都悄悄失败，模型拿不到结果就停止作答。RL 版本几乎每一步都调用计算器，受害最重，GSM8K 上 d32-rl 从 4% 变成 20%，d24-rl 从 1% 变成 17%，d12-rl 从 1% 变成 9%；SFT 版本和 HumanEval 修复前后几乎不变。修复后全部重测，下面是修复后的数字。

质量

模型	GSM8K	HumanEval	C-Eval	JSON	工具调用	图形题
GLM-5.3-Flash	98.5% 197/200	89.6% 147/164	92.7% 278/300	100.0% 20/20	100.0% 10/10	100.0% 12/12
Qwen3.6-35B-A3B	91.5% 183/200	80.5% 132/164	88.0% 264/300	65.0% 13/20	80.0% 8/10	100.0% 12/12
Qwen3.8-27B	96.0% 192/200	89.0% 146/164	86.3% 259/300	100.0% 20/20	90.0% 9/10	-
nanochat-d32-sft	3.0% 3/100	19.5% 16/82	3.3% 5/150	70.0% 14/20	10.0% 1/10	-
nanochat-d32-rl	20.0% 20/100	14.6% 12/82	16.0% 24/150	70.0% 14/20	10.0% 1/10	-
nanochat-d24-sft	6.0% 6/100	19.5% 16/82	0.0% 0/150	65.0% 13/20	10.0% 1/10	-
nanochat-d24-rl	17.0% 17/100	13.4% 11/82	4.7% 7/150	70.0% 14/20	10.0% 1/10	-
nanochat-d12-sft	1.0% 1/100	9.8% 8/82	1.3% 2/150	0.0% 0/20	10.0% 1/10	-
nanochat-d12-rl	9.0% 9/100	4.9% 4/82	2.0% 3/150	0.0% 0/20	10.0% 1/10	-

Qwen3.8-27B 是纯文本模型，没有图形题成绩。截断按答错计。

长上下文大海捞针

模型	4K	16K	32K	64K	107K	128K
GLM-5.3-Flash	100% / 1.7s	100% / 2.9s	100% / 3.9s	100% / 8.1s	-	100% / 10.4s
Qwen3.6-35B-A3B	100% / 1.2s	100% / 1.7s	100% / 2.2s	100% / 4.4s	100% / 10.1s	-
Qwen3.8-27B	100% / 2.3s	100% / 4.1s	100% / 6.6s	100% / 12.6s	100% / 23.9s	-
nanochat-d32-sft	-	-	-	-	-	-
nanochat-d32-rl	-	-	-	-	-	-
nanochat-d24-sft	-	-	-	-	-	-
nanochat-d24-rl	-	-	-	-	-	-
nanochat-d12-sft	-	-	-	-	-	-
nanochat-d12-rl	-	-	-	-	-	-

三个模型在所有测试长度上全部检出。Qwen 的 128K 档实际 149K token，超过服务配置的 131072 上限被拒绝，改测 107K 档。延迟差异反映 prefill 速度：Qwen3.6 的 MoE 在长输入上最快，Qwen3.8 稠密最慢。

思考模式的开销

平均输出 token 数、单题耗时（并发 16 下）和截断题数。截断指思考超过 4096 token 预算、没来得及给出答案。

模型	GSM8K	HumanEval	C-Eval
GLM-5.3-Flash	224 tok / 13.7s / 截断 0	1789 tok / 102.4s / 截断 15	780 tok / 42.3s / 截断 10
Qwen3.6-35B-A3B	1587 tok / 21.0s / 截断 11	2714 tok / 36.4s / 截断 31	1690 tok / 23.0s / 截断 15
Qwen3.8-27B	456 tok / 11.2s / 截断 5	1218 tok / 29.2s / 截断 15	831 tok / 20.1s / 截断 19
nanochat-d32-sft	242 tok / 20.3s / 截断 11	314 tok / 26.3s / 截断 19	366 tok / 31.2s / 截断 87
nanochat-d32-rl	98 tok / 8.3s / 截断 0	158 tok / 12.9s / 截断 1	32 tok / 2.8s / 截断 3
nanochat-d24-sft	245 tok / 17.2s / 截断 16	230 tok / 15.9s / 截断 9	382 tok / 25.0s / 截断 93
nanochat-d24-rl	100 tok / 7.1s / 截断 1	151 tok / 10.3s / 截断 2	258 tok / 18.2s / 截断 42
nanochat-d12-sft	294 tok / 10.2s / 截断 22	375 tok / 12.6s / 截断 39	435 tok / 13.9s / 截断 120
nanochat-d12-rl	53 tok / 1.9s / 截断 0	71 tok / 2.5s / 截断 0	245 tok / 8.7s / 截断 53

Qwen3.6 是最"话多"的思考者，HumanEval 有 31 题在预算内没写完代码，JSON 抽取这种简单任务也要先想一千多个 token；GLM 的答案最简洁、质量最高，代价是慢。给思考模型更大预算或关掉思考，分数会明显不同。

测试过程中修正的不公平

Qwen3.6-35B-A3B：json/tools 以 2048 token 预算重跑（首轮 512 预算被思考占满）；128K 档超过服务的 max-model-len 131072（实际 149K token）被拒，改测 110K 档
Qwen3.8-27B：json/tools 以 2048 token 预算重跑（首轮 512 预算被思考占满）；tools 使用 qwen3_xml 解析器重跑（首轮 hermes 解析器不匹配该模型的 XML 格式）；128K 档超过服务的 max-model-len 131072（实际 149K token）被拒，改测 110K 档

原始结果在仓库 results/ 目录，每条记录保留了模型输出的末尾、判分依据和 token 用量。