跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

48 条精选近 30 天 44 条共收录 58 条

更新

精选归档 · 第 3 页

10月12日周一第 41–48 条
  1. The Verge · AI

    微软发布第三代自研 AI 芯片 Maia 300,定位为主要 AI 推理系统

    The Verge 报道微软宣布第三代自研 AI 芯片 Maia 300。微软官方称其面向长上下文推理、低延迟对话和多步代理任务,计划于 2027 年开始生产部署。微软还计划从 2027 年起将 Azure Maia 系列扩展为多吉瓦级规模,作为其产品与服务的主要推理系统;实际性能、服务可用范围和客户价格仍需以后续披露为准。

    为什么值得看:企业负责人可关注该芯片是否影响云 AI 推理成本、算力供给与对 Nvidia GPU 的依赖;但上线范围、定价、性能对比与客户可用方式尚不明确,需待微软后续披露与独立验证。

10月11日周日
  1. The Decoder

    研究:多智能体团队token成本最高增5.1倍,质量提升却难以测量

    据The Decoder报道,Vals AI的研究发现,多智能体团队相比单智能体性能提升有限,但成本最高可达5.1倍。在使用GPT-6 Sol与Claude Opus 5.5的四组测试中,仅一组出现可测量的质量增益。Anthropic自身数据也显示,智能体数量超过十个后质量趋于平台期,而token成本继续攀升。

    为什么值得看:对企业负责人而言,该信息提示在规划多智能体(multi-agent)自动化方案时,需权衡token成本与可测量的质量收益,避免为难以验证的性能提升支付数倍成本;同时可关注智能体数量扩展的边际收益拐点,用于架构选型与预算控制。相关结论来自第三方研究与厂商披露,具体适用条件需结合自身业务验证。

10月8日周四
  1. OpenAI News

    OpenAI 披露 Pollo AI 案例:用多款模型把创意转化为图像与视频广告

    据 OpenAI 官方客户案例,Pollo AI 使用 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者把创意想法转化为精细图像和电影感视频广告。该信息由厂商披露,未提供具体效果数据、价格或部署细节。

    为什么值得看:企业负责人可关注其用于营销素材与广告内容生成的潜在用途,尤其是创意到成片的流程压缩;但需注意这是厂商披露案例,效果与成本数据未独立核实,且缺少定价、部署与合规信息,评估时应要求供应商提供可验证指标。

  2. OpenAI ChatGPT 与 Codex 官方更新

    OpenAI 在 Codex 与 ChatGPT Work 推出 GPT-6.1 Sol Ultrafast 模式

    据 OpenAI 官方更新,GPT-6.1 Sol Ultrafast 模式可在 Codex 和 ChatGPT Work 中加快 token 生成。该模式面向 Pro 500 及符合条件的 Enterprise 和 Edu 计划提供;企业访问默认关闭,需由工作区所有者启用。该模式支持在美国及欧洲(EEA+瑞士)进行推理驻留。官方指引用户查阅 Ultrafast 模式的计划与工作区要求、模型指引以及定价与信用额度费率。

    为什么值得看:企业负责人可关注两点:一是 Codex 与 ChatGPT Work 中的生成速度提升可能影响编程与办公自动化流程效率;二是企业访问默认关闭、需工作区所有者启用,且支持美国与欧洲推理驻留,涉及部署开关、权限管理与数据驻留合规选择。具体价格、额度消耗与性能提升幅度需以官方定价和模型页面为准。

9月23日周三
  1. Cursor 官方更新

    Cursor 推出 Rollouts 与 Security Review,面向团队版和企业版

    Cursor 官方更新称,推出两个 Cursor bot。Rollouts 会为每个 PR 附加监控项,在变更部署过程中持续跟踪,并按环境报告健康状况:已验证健康、检测到回归或无法确定;PR 创建后会读取 diff 及涉及系统并生成监控规划,部署事件触发后基于日志、指标和链路追踪运行规划,检测到回归时指出疑似变更并通知作者,按配置可创建回滚 PR 或交给云端智能体修复,目前不会自行合并或回滚。Security Review 会结合整个代码库上下文读取每个 PR,报告可被利用的缺陷,检查注入、身份验证和授权绕过、提交到源代码中的密钥和凭证、SSRF 与未经验证的重定向、不安全反序列化及引入已知漏洞的依赖变更,并追踪用户输入流向;每个发现项标明严重级别、攻击路径和建议修复方案,支持团队规则。两者已在团队版和企业版上线,可在自动化选项卡启用;未来 10 天赠送用量额度,团队版和企业版客户分别约 50 次和 500 次变更额度。

    为什么值得看:企业负责人可关注两点:一是部署阶段按环境跟踪变更健康度并识别回归,可能减少发布后才发现问题的时间;二是安全审查嵌入每个 PR,并可用团队规则约束外部调用客户端、禁止在请求处理程序中查询的表等,有助于把安全与架构约束前移到代码评审。需注意这些能力为厂商披露,实际效果、误报率和集成成本需在自身环境中验证,且 Rollouts 不自动合并或回滚。

9月22日周二
  1. OpenAI ChatGPT 与 Codex 官方更新

    OpenAI 在 Codex 与 ChatGPT Work 推出 GPT-6 Sol 和 Luna,token 价格低于前代

    据 OpenAI 官方 Codex 更新说明,GPT-6 Sol 与 GPT-6 Luna 正在向 Codex 和 ChatGPT Work 推送,token 价格低于 GPT-5.6 前代。Sol 面向复杂编码与代理工作流,Luna 面向聚焦的高频任务。两款模型向 Plus、Pro、Business、Enterprise 和 Edu 用户推送;Free 和 Go 用户可在桌面应用中使用 Luna。可用性取决于推送进度与工作区设置,Enterprise 管理员必须启用新模型。在 ChatGPT 中,模型可在 Work 和 Codex 使用,但不在 Chat 中提供;可在模型选择器中选择。CLI 中可使用 /model,或以 codex --model gpt-6-sol、codex --model gpt-6-luna 启动任务。官方指引还指向 Models 页面了解选择与迁移、Pricing 页面了解额度费率与用量、Workspace model availability 页面了解管理员控制。

    为什么值得看:企业负责人可关注三点:一是编码与代理工作流有了新的模型选项,Sol 与 Luna 分别对应复杂任务和高频任务,便于按场景选型;二是官方称 token 价格低于前代,可能影响使用成本,但具体费率需查官方 Pricing;三是企业部署需管理员在 Enterprise 中启用,且 Chat 不可用,需评估对现有工作流和管控策略的影响。以上均为厂商披露,效果与成本节省幅度未独立核实。

7月29日周三
  1. Berkeley AI Research

    伯克利研究:K-Search 将 CUDA 内核经验迁移到 Apple Silicon,prefill 最高提速约 20 倍

    伯克利 AI 研究团队在 K-Search 进化式内核搜索框架上扩展了 MLX 后端,并开发结构化 CUDA-to-MLX 翻译层,使已有 CUDA 内核可作为知识库被自动适配为 Apple Silicon 上的高质量 GPU 内核,而非逐指令复制。研究团队披露,该方法在 Apple Silicon 上达到接近专家水平,相对原生 MLX Attention 内核为 0.97x,prefill 最高约 20x 加速。

    为什么值得看:企业负责人可关注其降低跨硬件内核迁移与重复调优成本的潜力,尤其是在 Apple Silicon 上部署 AI 推理时。但需注意性能为研究团队披露、尚未独立复现,且 0.97x 说明并非全面超越原生内核,生产可用性与部署范围仍待核实。

6月16日周二
  1. MiniMax 官方新闻

    海光DCU实现MiniMax M3 Day0适配,称可零成本满血运行

    据MiniMax官方新闻,海光DCU对MiniMax M3模型完成深度优化与Day0极速适配,厂商称可零成本满血运行M3模型。

    为什么值得看:对企业负责人而言,该信息指向国产算力与国产大模型的适配进展,可能影响模型部署时的硬件选型与算力成本考量。但相关内容为厂商披露,缺少具体性能数据、部署条件与成本细节,实际效果需结合自身场景验证。