跳到正文
10月24日周六
  1. AWS Machine Learning Blog

    AWS 发布用 CDK 编排 SageMaker AI 端点自动扩缩的方案

    AWS Machine Learning Blog 发文指出,更新已注册 Application Auto Scaling 的 SageMaker AI 端点会导致 AWS CloudFormation 和 AWS CDK 部署失败。文章介绍如何构建可复用的 AWS CDK construct,借助 CloudFormation 自定义资源自动注销并重新注册自动扩缩,从而在单次部署中同时更新端点和扩缩配置。

    为什么值得看:对使用 SageMaker AI 推理端点的企业,该方案针对部署失败这一具体运维痛点,提供了可复用的自动化编排思路,有助于减少手动处理扩缩注册的步骤,提升 AI 服务部署流程的可靠性。但企业需评估自身 CDK 使用程度、自定义资源权限和回滚机制,且原文未给出效果量化数据。

10月23日周五
  1. AWS Machine Learning Blog

    AWS 博客:用实测数据替代猜测,为 SageMaker AI 上的 TTS 模型制定自动扩缩策略

    AWS Machine Learning Blog 发文指出,团队在 Amazon SageMaker AI 上部署自定义文本转语音模型时,常凭猜测设定自动扩缩阈值,猜错会导致 GPU 浪费或违反延迟 SLO。文章以 Kokoro-82M 自定义容器为例,通过两个实时端点测量值 Q_max 和 T_total 推导出经过测量的自动扩缩策略,而非依赖猜测。

    为什么值得看:企业负责人可据此了解:TTS 等推理服务的扩缩配置可以基于实测指标而非经验猜测,从而在 GPU 成本与延迟 SLO 之间取得平衡。需注意该方法是 AWS 平台与特定模型下的示例,实际效果需结合自身负载测量验证,文中未给出量化收益。