AWS Machine Learning Blog· Shantanu Tripathi·· 48 分钟前精选
Amazon SageMaker Inference 支持 NVIDIA MIG，可按分区部署多模型提升 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
AWS 博客称，Amazon SageMaker Inference 现已支持基于 NVIDIA Multi-Instance GPU（MIG）的 GPU 分区，可将一块 GPU 划分为硬件隔离的多个分区，每个分区运行不同模型，或使用较新加速器的一部分容量。文章介绍通过两个可选 API 字段实现每个分区放置一个模型，并给出与整块旧 GPU 的对比测量结果。
为什么值得看
对企业负责人而言，该能力涉及推理端 GPU 资源利用率和多模型隔离部署，可能影响推理成本与部署架构。但实测为 AWS 厂商披露，具体实例支持、区域和计费需核实，MIG 分区也受模型规模与显存约束，应结合自身负载评估后再决策。
来源：AWS Machine Learning Blog · aws.amazon.com