TensorRT-LLM：硬件感知优化与量化的账本

把模型映射到硬件执行

TensorRT-LLM 提供 NVIDIA 平台上的 LLM 推理组件与高层接口。不同版本、后端和模型支持不同执行路径；不能把它永远等同于“先离线编译一个 engine”。阅读当前 quickstart 后，再决定采用高层 LLM API、服务命令还是特定 engine 工作流。

优化涉及 kernel 选择、操作融合、量化、缓存管理与 batch 调度。把 LayerNorm 等多个小操作融合，可能减少 kernel launch 和 HBM 往返，但也可能增加寄存器占用。是否加速仍取决于形状与硬件。

量化减少字节，不直接承诺相同质量

对称 per-tensor 示意是 $q=\mathrm{clip}(\mathrm{round}(x/s),q_{min},q_{max})$，恢复为 $\hat{x}=sq$。真实格式可能有 zero point、分组 scale、混合精度以及不同激活策略。INT4 权重每参数约半字节是原始 payload 下界，实际存储还包含尺度与打包开销。

import torch
x = torch.tensor([-1.2, -.2, .1, .8])
scale = x.abs().max() / 127
q = (x / scale).round().clamp(-127, 127).to(torch.int8)
x_hat = q.float() * scale
print('max error:', (x-x_hat).abs().max().item())

这是数值示例，不是 TensorRT-LLM 的量化实现。真实收益需要对应硬件 kernel，否则解量化和不合适的 shape 会吞掉带宽节约。

一个正确的对比矩阵

固定模型 revision、请求长度、并发、输出策略和质量集，分别测 BF16 与受支持的低精度配置。先检查 perplexity/任务准确率或偏好，再看吞吐、TTFT、ITL、内存与错误率。只在一个短 prompt 上得到“快两倍”不足以说明生产收益。

还要记录运行路径和准备成本：权重转换、构建或初始化是否计入 cold-start？动态 shape 是否触发额外开销？若应用包含 vision encoder，不能只计语言 decoder。

自测

问题： 模型权重从 16-bit 变成 4-bit，端到端延迟一定变成四分之一吗？

展开答案

不会。只有部分数据量变化，计算、KV、激活、调度与通信仍存在。量化 kernel、scale 读取和解量化也有成本；质量约束可能要求保留某些层高精度。

原始资料与继续阅读

• TensorRT-LLM overview
• TensorRT-LLM quickstart
• TensorRT-LLM precision

资料核对：2026-09-10。教学示例不代表生产基准；框架 API 和模型支持请以所链接版本为准。