学习笔记
未读
图编译优化与 Fusion Pass 融合算子接入实践
这篇帖子将从图编译的基础概念入手,落到 vLLM Ascend 中的 Fusion Pass、图匹配和图替换机制,目标是理解一条融合规则从“被定义出来”到“真正改写 FX 图”的完整过程。 此外,帖中会给出将融合算子 AddRmsNormDynamicMxQuant 接入 vllm-ascend,替
学习笔记
未读
vLLM-Ascend 低精调用路径与融合算子使能机制
一、低精外围调用链(vLLM -> vLLM-Ascend) vLLM 推理低精的核心调用点其实就是 quant_method 的三个方法: create_weights:注册空 Parameter:weight / scale / offset / scale_second ...,写入 inpu
学习笔记
未读
vLLM-Ascend 量化注入 vLLM 流程
这块 vllm-ascend 官方文档里很简单地一笔带过了。。 (https://docs.vllm.ai/projects/ascend/en/latest/developer_guide/Design_Documents/quantization.html) 按照官方的说明虽然可以意会,还是具体
音乐天地
