跳到正文
#Amazon SageMaker AI

精选 · 看变化，也看用途

从工具新能力、经营管理场景和实际用法中，找一件值得进一步了解的事。

  1. AWS Machine Learning Blog

    AWS 博客：用实测数据替代猜测，为 SageMaker AI 上的 TTS 模型制定自动扩缩策略

    AWS Machine Learning Blog 发文指出，团队在 Amazon SageMaker AI 上部署自定义文本转语音模型时，常凭猜测设定自动扩缩阈值，猜错会导致 GPU 浪费或违反延迟 SLO。文章以 Kokoro-82M 自定义容器为例，通过两个实时端点测量值 Q_max 和 T_total 推导出经过测量的自动扩缩策略，而非依赖猜测。

    为什么值得看：企业负责人可据此了解：TTS 等推理服务的扩缩配置可以基于实测指标而非经验猜测，从而在 GPU 成本与延迟 SLO 之间取得平衡。需注意该方法是 AWS 平台与特定模型下的示例，实际效果需结合自身负载测量验证，文中未给出量化收益。

  1. AWS Machine Learning Blog

    AWS 发布在 SageMaker AI 上用 llama.cpp 部署决策模型的教程

    AWS Machine Learning Blog 发布技术教程，介绍如何在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型。该方案通过 AWS Deep Learning Container for llama.cpp 提供 OpenAI 兼容的 chat completions 服务，并扩展运行时加入 SemIf，以在 CPU 或 GPU 上返回所声明选项的概率。

    为什么值得看：企业负责人可把这份教程作为自托管决策模型、对接既有应用的技术参考。AWS 原文提供了特定模型和实例上的 CPU/GPU 基准结果，但这些是厂商示例测试，不能代替本企业工作负载的评估；实际成本、时延、输出质量与生产适用性仍需自行验证。

已经到底了