雷峰网 · 人工智能·· 4 小时前精选
MIT 研究：Astra 直接改写 Qwen 权重，0.016% 参数让数学成绩提升近 6 倍
0.016% 的 Astra 微创手术，治好了 Qwen 的 3 万 Token 死循环
AI 导读
雷峰网报道，MIT CSAIL 尝试让 GPT-6 Astra 检查 Qwen3.5-0.8B 的内部权重，定位问题后直接修改参数。Astra 只改动约 0.016% 的权重，使 Qwen 的 MATH-500 成绩从 7.9% 提升到 48.1%。研究还显示，Astra 能仅凭权重识别 4 个同架构游戏网络分别学会的游戏，并在移除输入 Embedding 和输出层后，通过 Induction Head 等结构判断字符级 Transformer 的训练语言。研究者将这种能力称为 Weight-Space Programming，即权重空间编程。
为什么值得看
对企业负责人而言，这项研究提示模型维护可能从调整数据、推理策略或重新微调，扩展到直接定位并编辑内部权重，从而降低排障和修复成本。但该成果仍属实验研究，效果仅限特定小模型和基准，距离企业生产环境落地还有距离，且部分能力需进一步核实。
来源：雷峰网 · 人工智能 · leiphone.com