跳到正文
今天11月4日周三1 条
  1. 雷峰网 · 人工智能

    MIT 研究:Astra 直接改写 Qwen 权重,0.016% 参数让数学成绩提升近 6 倍

    雷峰网报道,MIT CSAIL 尝试让 GPT-6 Astra 检查 Qwen3.5-0.8B 的内部权重,定位问题后直接修改参数。Astra 只改动约 0.016% 的权重,使 Qwen 的 MATH-500 成绩从 7.9% 提升到 48.1%。研究还显示,Astra 能仅凭权重识别 4 个同架构游戏网络分别学会的游戏,并在移除输入 Embedding 和输出层后,通过 Induction Head 等结构判断字符级 Transformer 的训练语言。研究者将这种能力称为 Weight-Space Programming,即权重空间编程。

    为什么值得看:对企业负责人而言,这项研究提示模型维护可能从调整数据、推理策略或重新微调,扩展到直接定位并编辑内部权重,从而降低排障和修复成本。但该成果仍属实验研究,效果仅限特定小模型和基准,距离企业生产环境落地还有距离,且部分能力需进一步核实。