跳到正文
AWS Machine Learning Blog· Alex Nails·· 4 天前AI 评分59

SGLang-Neuron 开放可用,支持在 AWS Trainium 上部署模型

Deploy frontier AI models on AWS Trainium with SGLang-Neuron

AI 导读

Amazon 宣布 SGLang-Neuron 正式开放,可通过 AWS Deep Learning Container 在 AWS Trainium 上使用现有 SGLang 接口服务模型并生成 RL rollouts。

来源:AWS Machine Learning Blog · aws.amazon.com