商机榜单 / 档案 O-0815

候选 NEW 新晋 OPPORTUNITY DOSSIER · O-0815

llama.cpp MoE专家SSD卸载支持

为llama.cpp添加将MoE模型的非共享专家卸载到SSD、由CPU执行的能力,缓解RAM昂贵与模型膨胀带来的内存压力,保留GPU VRAM用于其他权重与KV cache

首次发现 2026-07-23 · 最近更新 2026-07-23 · 每日重算

2.8
证据置信度(非商业回报预测)
1
独立内容证据(同帖去重)
1
覆盖来源
0
付费证据(当前支出 / 明确愿付)
解决什么问题MoE模型越来越大、RAM价格高昂时,使用现有-cmoe开关将非共享专家加载到RAM成本过高,用户希望将这些专家放到SSD上由CPU执行,但llama.cpp目前缺乏原生SSD卸载路径
目标用户在本地或自建服务器上运行大型MoE模型(显存有限、RAM预算受限)的开发者与研究者
现有方案缺口暂未识别到被点名的现有方案
主题标签llama.cppMoE推理优化SSD卸载
周提及趋势 · 近 12 周NEW 新晋
05-0406-0106-2907-20

趋势因子 ×1.0(上限 2.0)。

代表证据

公开预览展示 1 条 · 完整证据链共 1 条
需求 ★★☆☆☆ 功能请求

原帖标题:Possible to load non shared experts to SSD in llama.cpp?

I know llama.cpp can use -cmoe switch to load non …

我知道 llama.cpp 可以使用 -cmoe 开关将 MoE 模型中的非共享专家加载到 RAM …

公开层仅保留极短引用;请打开原帖核对完整语境。

Reddit2026-07-23查看原帖 ↗

跟进这条商机的后续变化

1 条证据逐条可追溯 · 免费开放 · 有效变化写进每周周报

相关档案

评分口径摘要

证据置信度 = 强度 × 证据量 × 来源多样性 × 付费 × 竞争 × 趋势 × 10。所有计数基于独立内容条目(同一帖子多条信号只计 1 条);仅"亲身痛点 / 当前支出 / 明确愿付 / 功能请求"四类一手证据计入;同一作者的重复内容按 0.15 权重折价计入评分,刷屏抬不了分;评分与状态晋级由确定性代码完成。

⚠ "证据充分"表示问题真实、反复、有人花钱;不是"值得创业"的判断。完整规则见 方法与可信度