标签: vllm-ascend

vllm-ascend 2 vllm 6 Docker 0 Mac App 0 声音克隆 1 语音克隆 0 语音克隆 0 语音克隆 0 语音克隆 0 GPT-SoVITS 1 linux 1 ACME 1 Halo 0 DNS 分流 1 DNS 泄漏 1 透明代理 0 iStoreOS 0 旁路由 0 极空间 0 frp 0 IPv6 0 内网穿透 0 模板 0 OSM 0 闲聊 1 热门 12 精选 7 项目部署 1 ASP.NET Core 1 寄能 11 项目管理 1 Pushdeer 1 镜像 1 云服务器 1 ECS 1 加密 0 身份认证 1 Bezier 2 通知推送 2 通知 0 ServerChan 1 SSL 2 HTTPS 2 Nginx 2 ASP.NET 0 Git 1 VSCode 1 .NET 1 C# 1 深度学习 5 QT 4 ADB 1 数学建模 2 Matlab 1 Ubuntu 2 C++ 8 NAO 4 算法 9 网络 2 破解 3 寄术 11 APK 2 日寄 0 日常 0

学习笔记未读

vLLM-Ascend 低精调用路径与融合算子使能机制

一、低精外围调用链（vLLM -> vLLM-Ascend） vLLM 推理低精的核心调用点其实就是 quant_method 的三个方法： create_weights：注册空 Parameter：weight / scale / offset / scale_second ...，写入 inpu

vllm vllm-ascend 18天前

学习笔记未读

vLLM-Ascend 量化注入 vLLM 流程

这块 vllm-ascend 官方文档里很简单地一笔带过了。。（https://docs.vllm.ai/projects/ascend/en/latest/developer_guide/Design_Documents/quantization.html）按照官方的说明虽然可以意会，还是具体

vllm vllm-ascend 20天前

你好啊！

站长 Sunwish 是一个摆烂王。他相信只要寄不掉，就还有摆的空间。但是在追求摆的最大化的过程当中，他似乎忘了，摆的极限就是...

—— 寄。

Sunwish

分享设计与科技生活

音乐天地