跳到正文
10月24日周六
  1. 机器之心

    谷歌开源 TorchTPU:PyTorch 可原生运行于 TPU

    据机器之心报道,谷歌在圣何塞举行的 PyTorch Conference 2026 上宣布开源 TorchTPU,这是一套让 PyTorch 原生运行在 TPU 上的完整软件栈。报道称,在 Hugging Face Transformers v5 中把模型部署到 TPU 只需传入 device_map="tpu" 参数。来源将此举视为谷歌软件路线的转向,并称其是对英伟达 CUDA 生态的正面挑战。

    为什么值得看:企业负责人可关注模型部署硬件选项的变化:若 PyTorch 模型能以较低改造成本运行在 TPU 上,推理基础设施的选型与供应链多元化可能多一个方向。但该能力目前仅为媒体报道,成熟度、性能与生产可用性尚待核实,不宜据此立即调整部署策略。

10月22日周四
10月20日周二
  1. AWS Machine Learning Blog

    Deepgram 借 AWS Trainium2 优化大规模语音 AI 批量转写

    AWS 博客介绍,Deepgram 与 AWS Forward Deployed Engineering 团队合作,将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于离线批量推理。文章涵盖向 AWS Neuron 栈移植、内核级调优、数据并行 Rust 运行时,以及批量转写场景下的吞吐与成本结果(厂商披露)。

    为什么值得看:对需要大规模语音转写的企业,该案例展示了在专用 AI 芯片上部署语音模型并优化批量推理吞吐与成本的工程路径,可作为评估云上推理基础设施和成本结构的参考。需注意效果数据为厂商披露,且场景限于离线批量推理,实时语音和迁移成本未涉及。

10月14日周三
  1. AWS Machine Learning Blog

    Amazon SageMaker JumpStart 模型部署与评估操作指南

    AWS 机器学习博客介绍如何从 Amazon SageMaker JumpStart 部署可用模型,使用 SageMaker Python SDK 运行轻量且可重复的性能测试,并在测试完成后删除端点。

    为什么值得看:企业负责人可借此了解模型部署、性能测试和端点清理的标准流程,有助于评估 AI 模型上线的操作路径与资源管理方式;但来源未给出具体模型、性能指标或成本数据,需结合实际情况核实。

10月12日周一
  1. AWS Machine Learning Blog

    AWS 发布在 SageMaker AI 上用 llama.cpp 部署决策模型的教程

    AWS Machine Learning Blog 发布技术教程,介绍如何在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型。该方案通过 AWS Deep Learning Container for llama.cpp 提供 OpenAI 兼容的 chat completions 服务,并扩展运行时加入 SemIf,以在 CPU 或 GPU 上返回所声明选项的概率。

    为什么值得看:企业负责人可把这份教程作为自托管决策模型、对接既有应用的技术参考。AWS 原文提供了特定模型和实例上的 CPU/GPU 基准结果,但这些是厂商示例测试,不能代替本企业工作负载的评估;实际成本、时延、输出质量与生产适用性仍需自行验证。

6月16日周二
  1. MiniMax 官方新闻

    海光DCU实现MiniMax M3 Day0适配,称可零成本满血运行

    据MiniMax官方新闻,海光DCU对MiniMax M3模型完成深度优化与Day0极速适配,厂商称可零成本满血运行M3模型。

    为什么值得看:对企业负责人而言,该信息指向国产算力与国产大模型的适配进展,可能影响模型部署时的硬件选型与算力成本考量。但相关内容为厂商披露,缺少具体性能数据、部署条件与成本细节,实际效果需结合自身场景验证。