与已发布的「GLM-5.2 发布」卡不同,本卡主角是推理引擎 colibrì 本身。写作红线:如实交代速度(作者自己的机器冷启动仅 0.05–0.1 tok/s,M5 Max 约 1 tok/s),不要夸成「流畅可用」;可写的记忆点:学习缓存会记住你常用的 experts、「越用越快」;作者公开求助社区跑质量基准——「一个人项目求测试机」本身就是好故事。数字均取自仓库 README 的实测表。
「25GB 内存跑 744B 大模型」——一个人用 1300 行 C 写的 colibrì,把 GLM-5.2 塞进了普通笔记本
7 月 9 日以「Show HN: Getting GLM 5.2 running on my slow computer」登上 HN 首页,399 分 103 条评论;纯 C、零依赖的单文件引擎,把 744B MoE 的 GLM-5.2 以 int4 跑在 25GB 内存的消费级机器上——常驻内存仅 9.9GB,370GB 模型放硬盘按需流式读取,Apple M5 Max 实测 1.06 tok/s。「本地跑前沿大模型」的想象力边界又被推了一格。
免费深读
推荐写作角度
- 极客故事向:一个人、一台 12 核 25GB 内存的笔记本、约 1300 行 C,怎么把 744B 模型「饿着养活」——用比喻讲清 MoE 按需加载 + 磁盘流式的原理,写给非工程师读者
- 实测/科普向:0.05 tok/s 到 1 tok/s 意味着什么——「慢但真能跑」的本地前沿模型能干嘛(离线、隐私、学习研究),按 README 的硬件档位表给读者一个预期
- 趋势向:从 Kokoro 老 CPU 配音到 colibrì 硬盘喂大模型——2026「平民本地 AI」路线盘点:什么适合本地、什么老实上云
标题模板
- 「一个人用 1300 行 C,把 744B 的 GLM-5.2 塞进 25GB 内存的笔记本」
- 「不买 H100 也能跑前沿大模型?HN 近 400 分的开源项目做到了,就是有点慢」
- 「把 370GB 模型放在硬盘里「流式喂进」内存:colibrì 的笨办法与巧办法」
公开核验来源
事实、判断、写作角度和标题模板全部免费公开;引用前请回到原始来源再次核对。
GitHub 仓库(colibrì,Apache 2.0)Hacker News 讨论(399 分)预转换 int4 权重(Hugging Face)相关阅读
沿着这个问题继续读
Muse Spark 1.3 上线:少 20% 工具调用是厂商结果,Max 推理与开放权重仍在路上
Meta 于 2026-09-02 发布 Muse Spark 1.3,并开始向 Muse Code 与 Meta Model API 推送;截至 Asia/Katmandu 2026-09-03 06:07,Hacker News 为 340 分、237 条评论。Meta 称相较 1.2,内部工程师比较中工具调用约少 20%、token 约少 25%,并强调长任务、多工作流、澄清问题与高后果操作前确认;这些数字来自厂商自测,没有公开证明所有语言、仓库和真实创作任务都能同比节省。边界必须前置:Max reasoning 仍要等额外安全测试,官方只说开放权重未来会来,两者都不是当前已交付能力;页面中的工程、音频和演示文稿案例是原型展示,不等于可复现产品验收。独立 Artificial Analysis 的首日数据也只是特定端点与基准快照,价格、速度和排名会变,中文创作者应以自己的任务集、隐私选项和完整成本复测。
Mistral 的训练退出不是一个总开关:Vibe、API 与反馈要分开检查
Mistral 本周更新数据治理帮助页,明确普通 Vibe 用户的输入输出默认可用于训练、可自行退出,Vibe Enterprise 则默认退出;Vibe 与 Mistral Studio/API 的退出开关彼此独立,关闭一处不会自动关闭另一处,上传文档也算输入数据。截至 Asia/Katmandu 2026-09-03 06:07,相关 Hacker News 讨论为 359 分、155 条评论。边界必须前置:帮助页描述的是当前产品设置,不等于历史数据自动删除、零数据保留或所有第三方接入都遵循同一规则;反馈渠道另有处理,官方提醒不希望反馈数据被用于改进时不要提交带评论的赞/踩。产品名称、套餐默认值和控制入口可能继续变化,发布前应按当日账号与合同复核,不能把“可退出”简化成“默认不训练”。
21.5 万篇“最佳软件”页进入 AI 引用链:AEO 先要解决证据污染
Trellner Research 于 2026-09-02 公布一次 Perplexity 软件推荐审计:研究者用 380 个软件类别做单次快照,发现三个版式与基础设施高度相似的站点合计列出 215,128 个 `/best/` 购买指南;另一个软件厂商 Guideflow 的博客在 96 个类别中被引用 194 次,成为第三大引用来源。相关 Hacker News 讨论截至 Asia/Katmandu 2026-09-03 06:07 为 287 分、127 条评论。边界必须前置:研究只测 Perplexity、一个提示措辞、每类一次运行,两个模型档位的引用高度重合,不能当作两个独立实验;它没有证明这些页面一定错误、共同所有者是谁,也没有做移除来源后的因果测试,更不能外推 ChatGPT、Gemini、Copilot 或 Google AI Mode。215,128 是三站 sitemap 中对应 URL 数的合计,不是已人工逐篇判假的数量;“证据污染”应作为待复测风险,而不是给站点或运营者定罪。