AI 概览 · 由大模型根据 SKILL.md 与仓库数据生成 · 2026年11月19日
本地大模型推理提速的 Agent 技能
该仓库提供一个名为 Inference Optimisation 的 Agent 技能,按仓库简介,它面向任意硬件与量化配置,围绕本地大模型服务的解码、投机解码、预填充、KV 缓存、启动和首字延迟做逐步爬坡式提速。已采集资料对它的描述较概括,具体调优方法与效果需回到源文件确认。
包含 Skill
1
可以单独安装
GitHub Star
1,118
仓库累计 Star
代码更新
2026年11月17日
最近一次推送
核心亮点
1覆盖多环节
从解码到首字延迟,给出较完整的调优视角
2面向自有环境
强调在任意硬件与量化配置下做实验
3流程化推进
以逐步爬坡方式组织性能优化任务
能做什么
- 围绕本地推理服务的解码速度做分析与调优
- 涉及投机解码相关环节的排查与实验
- 关注预填充与 KV 缓存对性能的影响
- 覆盖服务启动耗时与首字延迟的优化方向
- 以工作流形式协助拆解推理优化任务
适用场景
为本地部署的模型服务排查首字延迟偏高问题
对比不同量化配置下的解码速度差异
评估投机解码是否带来实际提速
梳理服务启动慢的可能环节
用之前和用之后
- 调优靠零散经验,不清楚瓶颈在解码还是预填充按技能给出的环节清单逐项排查,优化方向更清晰
- 缺少统一基线,改动后难以判断是否真的变快先记录基线再迭代验证,便于对比每次改动效果
它是怎么工作的
第 1 步
建立基线
第 2 步
定位瓶颈
第 3 步
迭代验证
快速上手
安装与复制命令见“安装方式”。
- 1
打开仓库并阅读技能说明文件
- 2
确认本地硬件与量化配置信息
- 3
按技能指引采集基线性能数据
- 4
逐项尝试优化并对比结果
适合谁
- 本地部署大模型的工程师
- 做推理性能调优的开发者
- 需要交付前做性能排查的团队
局限
- 已采集资料对具体方法与步骤描述较概括
- 实际提速效果依赖硬件与量化配置,需自行验证
- 来源标注风险等级较高,使用前应仔细阅读说明
使用前注意
- · 来源标注风险等级为高,使用前应核验技能内容与执行动作
- · 调优涉及服务配置变更,建议先在测试环境验证
- · 性能结论需以自有环境实测为准,不宜直接套用
包含的 Skills · 1
公开来源
相关 Skills
查看更多ECC
314 Skills编程智能体技能集 · affaan-m
覆盖 Agent 评估、安全、架构审查、支付接入和网关测试等场景,可用于梳理任务流程、执行专项检查并形成结构化产出。
ponytail
6 Skills精简编程技能集 · DietrichGebert
覆盖任务拆解、代码评审、快捷参考与简化债务标记整理,适合在开发和交付过程中调用相应 Skill 辅助处理具体任务。
impeccable
20 SkillsAgent 设计语言 · pbakaus
为编码代理提供一套设计表达方式,可在开发过程中打磨界面、评审设计并检查交付前的粗糙产出,适合前端与设计协作场景。
security-audit-skill
JavaScript代码安全审计技能 · cloudflare
用于资料研究、事实整理和结构化报告写作,适合需要按流程开展安全审计并整理结果的场景。
