学习笔记
未读
vLLM框架代码走读04(KV Cache Slot Mapping 机制)
本文梳理了 vLLM V1 中 KV Cache 的 slot mapping 全流程:调度器如何拿到物理 KV block,worker 如何把 block table 转成 slot mapping,attention backend 又如何用它把当前 token 的 K/V 写入 paged
学习笔记
未读
vLLM框架代码走读03(SchedulerOutput)
(本篇是03。01 Client篇和 02 Core 篇后面再补上来) 本文聚焦 vLLM V1 中最基础的 text-only 生成路径。多模态 encoder、speculative decoding、pipeline/data parallel、KV/EC connector、structur
声音克隆:基于 AutoDL 的 GPT-SoVITS 云端训练与推理全流程
一、创建云端实例 前往 AutoDL 官网,注册并登录账号,充值 10 块钱(因为 AutoDL 算力是按量计费的, 所以充更少也行,4090 算力大概 2块4角/小时,如果用总时长 1 分钟的素材进行训练,操作熟练的话其实大概只需要花费 1 块钱),然后前往控制台-容器实例,租用新实例。 选用 R
沿途简记
未读
CentOS 服务器配置一站式记录(持续更新)
✅ 系统配置 yum 更新系统包 sudo yum update -y
安装 EPEL 仓库 sudo yum install epel-release -y
firewall 查看已打开端口 sudo firewall-cmd --list-ports
放行端口并重载防火墙 sudo fir
创建虚拟内存应对linux服务器内存不足
出现的问题是 mysql 服务跑不起来,检查日志 /var/log/mysqld.log 发现 InnoDB 创建 buffer pool 失败,原因是内存不足。 [Warning] [MY-012681] [InnoDB] page_aligned_alloc mmap(137236480 byt
通过 nginx 实现服务的地区限制
通过 nginx 限制服务的可访问地区,主要利用 GeoIP 数据库识别客户 IP 的归属地,进而对不通归属地的访问请求分流处理。 以限制中国地区访问为例。为了实现目标,我们需要以下“原料”: GeoLite2-Country 和 GeoLite2-City(可选)数据库 GeoLite2-Coun
ACME 申请免费 SSL 证书
前言 在之前的博文《为 Nginx 服务器配置 SSL 证书启用 HTTPS 连接》中介绍过如何在阿里云申请免费的 SSL 证书。在阿里云申请证书的优势是快捷方便,只需要动动手指填写基本信息即可,申请下来的证书也有长达一年的有效期。但是,每个用户在阿里云一年只有 20 个免费证书申请额度,并且也不支
沿途简记
未读
DNS 分流 + Fake-IP 依旧 DNS 泄漏?
一、背景 adg 监听 53 端口,用于提供日志查询和设备管理,mosdns 为唯一上游 mosdns 负责 DNS 分流,国内域名走国内 DNS,国外走 OpenClash DNS OpenClash fake-ip 模式,GeoIP 规则 no-resolve,MATCH 走代理 通过 adg
PushDeer:一种无APP的通知推送解决方案
# 概述 > 去年六月,我曾写下一篇博客介绍如何 [借助 ServerChan 实现个人微信通知推送](https://houkaifa.com/2020/06/21/wechat-notifier/),在那篇文章中介绍了 ServerChan 及其使用方法,总的来说,对于简单的通知需求,使用 Se
音乐天地
