前 OpenAI CTO 穆拉蒂的团队发布并开源 Inkling 2 Mini:约 26.4B 参数、支持百万上下文,主打本地可运行与循环层的可监控性研究。

11 月 20 日,由前 OpenAI CTO 米拉·穆拉蒂(Mira Murati)联合创办的 Thinking Machines Lab(TML)发布并开源了新模型 Inkling 2 Mini。据官方博客与 Hugging Face 模型卡,这是一款主打"小体积、可在本地运行"的循环式混合专家模型,同时附带一个供学术界研究"可监控性"的实验版本。本文把可核实的要点整理出来。
已确认的规格
- 总参数约 26.4B,每 Token 激活约 3.4B,计入循环后每 Token 约 5.4B 权重激活值;
- 采用循环 Transformer 加 MoE:24 层权重中,中间 12 层重复运行三次,等效约 48 层逻辑深度;每层 128 个专家、每 Token 选 8 个;
- 支持最长 100 万 Token 上下文,文本与图像输入、文本输出;
- 权重以 Apache 2.0 许可在 Hugging Face 公开,未设访问门槛;官方权重约 20GB,采用 NVFP4 与 MXFP8 精度。
为什么说它"能装进笔记本"
模型卡列出的运行方式覆盖 Transformers、SGLang、vLLM、llama.cpp(GGUF 量化)、MLX、Ollama 等主流框架,硬件门槛是 32GB 及以上内存的苹果芯片设备,或 32GB 及以上显存的显卡。官方演示中,团队在飞行模式的 MacBook Pro 上离线运行该模型,并在几分钟内搭出一个可玩的飞行模拟器。对想在本机跑 Agent 的开发者,这是一条不依赖云端的现实路径。
跑分之外,重点其实是"可监控性"
TML 公布的基准显示,Inkling 2 Mini 在 DeepSWE v1.1 上约 48.2%、SWE-bench Pro v2 Hard 约 77.9%、Vals Index v2.2 约 46.5%,均高于其对比的 Qwen3.8-27B(同项为 42.2%、73.8%)——但官方也注明各模型评测设置并不完全一致,这些数字属厂商自述。
更值得关注的是它同步开源的可变循环研究模型 TML-d24-varloop-research。循环层让模型在不写出思维链(CoT)的情况下完成更多内部计算,而"不写在 CoT 里的推理,CoT 监控就抓不到",这正是业界担心循环模型更难监管的原因。官方初步分析称,在当前规模下尚未看到可监控性明显下降,并希望社区借此研究循环层的可解释性。
别忽视它的短板
官方坦承,该模型在 MultiChallenge(50.0%)与 ComplexConstraints v1.1(33.4%)上表现偏弱,多轮对话与复杂多约束指令跟随不如同尺寸对手,在硬核推理任务上也仍逊于更大模型。厂商自述数据请结合第三方评测谨慎看待。
结论:Inkling 2 Mini 的意义不只在"又一个小而强的开源模型",更在于把循环层的可监控性这一治理议题摆到了开源社区面前。想本地跑 Agent 的开发者,可先用量化 GGUF 版本试水;关注 AI 安全的团队,则值得读一读它附带的研究模型与模型卡。
皮皮 AI 导航
AI 工具榜