跳到正文
10月24日周六
  1. 机器之心

    谷歌开源 TorchTPU:PyTorch 可原生运行于 TPU

    据机器之心报道,谷歌在圣何塞举行的 PyTorch Conference 2026 上宣布开源 TorchTPU,这是一套让 PyTorch 原生运行在 TPU 上的完整软件栈。报道称,在 Hugging Face Transformers v5 中把模型部署到 TPU 只需传入 device_map="tpu" 参数。来源将此举视为谷歌软件路线的转向,并称其是对英伟达 CUDA 生态的正面挑战。

    为什么值得看:企业负责人可关注模型部署硬件选项的变化:若 PyTorch 模型能以较低改造成本运行在 TPU 上,推理基础设施的选型与供应链多元化可能多一个方向。但该能力目前仅为媒体报道,成熟度、性能与生产可用性尚待核实,不宜据此立即调整部署策略。

10月22日周四
  1. 机器之心

    DeepSeek 开源内部推理框架 DeepInfer,支持 V4.1-Flash

    据机器之心(知乎专栏)报道,10 月 20 日 DeepSeek 以 Apache 2.0 许可证开源其内部大规模推理服务所用框架 DeepInfer,以及配套的 token 编解码组件 deepseek-recipe,当前支持 DeepSeek-V4.1-Flash。文章还提到,有观点据此推算大模型推理毛利约为 82%。

    同一新闻,精选展示《Deepseek 开源其最快最便宜模型背后的推理引擎 DeepInfer》

10月20日周二
  1. AWS Machine Learning Blog

    Amazon SageMaker JumpStart 2026 年前三季度新增 100 多个模型,并简化模型部署入口

    AWS 官方博客回顾称,Amazon SageMaker JumpStart 在 2026 年前三季度接入了来自 30 家提供商的 100 多个新模型,并介绍了简化版 Model Hub、预配置部署选项以及与 Hugging Face 的深链集成。

    为什么值得看:对企业负责人而言,这提供了 AWS 模型接入与部署能力变化的线索:更多第三方模型进入 JumpStart,配合预配置部署和 Hugging Face 深链,可能降低在 AWS 上试用和部署模型的集成工作量。但该信息来自厂商披露,具体模型、价格、区域覆盖和实际效率提升仍需核实,适合作为云上 AI 平台选型的参考信息,而非直接采购依据。

  2. AWS Machine Learning Blog

    Deepgram 借 AWS Trainium2 优化大规模语音 AI 批量转写

    AWS 博客介绍,Deepgram 与 AWS Forward Deployed Engineering 团队合作,将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于离线批量推理。文章涵盖向 AWS Neuron 栈移植、内核级调优、数据并行 Rust 运行时,以及批量转写场景下的吞吐与成本结果(厂商披露)。

    为什么值得看:对需要大规模语音转写的企业,该案例展示了在专用 AI 芯片上部署语音模型并优化批量推理吞吐与成本的工程路径,可作为评估云上推理基础设施和成本结构的参考。需注意效果数据为厂商披露,且场景限于离线批量推理,实时语音和迁移成本未涉及。

10月16日周五
  1. AWS Machine Learning Blog

    Meta 编码优化开源模型 Muse Spark Open 上线 Amazon SageMaker JumpStart

    据 AWS Machine Learning Blog 消息,Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 中提供。用户可使用 SageMaker Studio 或 SageMaker Python SDK,将其部署到自有 AWS 账户中的 SageMaker AI 端点,并运行首次推理请求。

    为什么值得看:对企业负责人而言,该消息的价值在于多了一个可在自有 AWS 账户内部署的编码类开源权重模型选项,部署路径明确(SageMaker Studio 或 Python SDK),便于评估模型选型、数据驻留与现有云环境的整合。但来源未披露模型规模、性能、成本与许可细节,是否适合生产使用仍需核实。

10月14日周三
  1. AWS Machine Learning Blog

    Amazon SageMaker JumpStart 模型部署与评估操作指南

    AWS 机器学习博客介绍如何从 Amazon SageMaker JumpStart 部署可用模型,使用 SageMaker Python SDK 运行轻量且可重复的性能测试,并在测试完成后删除端点。

    为什么值得看:企业负责人可借此了解模型部署、性能测试和端点清理的标准流程,有助于评估 AI 模型上线的操作路径与资源管理方式;但来源未给出具体模型、性能指标或成本数据,需结合实际情况核实。

10月12日周一
  1. AWS Machine Learning Blog

    AWS 发布在 SageMaker AI 上用 llama.cpp 部署决策模型的教程

    AWS Machine Learning Blog 发布技术教程,介绍如何在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型。该方案通过 AWS Deep Learning Container for llama.cpp 提供 OpenAI 兼容的 chat completions 服务,并扩展运行时加入 SemIf,以在 CPU 或 GPU 上返回所声明选项的概率。

    为什么值得看:企业负责人可把这份教程作为自托管决策模型、对接既有应用的技术参考。AWS 原文提供了特定模型和实例上的 CPU/GPU 基准结果,但这些是厂商示例测试,不能代替本企业工作负载的评估;实际成本、时延、输出质量与生产适用性仍需自行验证。

6月16日周二
  1. MiniMax 官方新闻

    海光DCU实现MiniMax M3 Day0适配,称可零成本满血运行

    据MiniMax官方新闻,海光DCU对MiniMax M3模型完成深度优化与Day0极速适配,厂商称可零成本满血运行M3模型。

    为什么值得看:对企业负责人而言,该信息指向国产算力与国产大模型的适配进展,可能影响模型部署时的硬件选型与算力成本考量。但相关内容为厂商披露,缺少具体性能数据、部署条件与成本细节,实际效果需结合自身场景验证。