AWS Machine Learning Blog· Alex Nails·· 4 天前AI 评分59
SGLang-Neuron 开放可用,支持在 AWS Trainium 上部署模型
Deploy frontier AI models on AWS Trainium with SGLang-Neuron
AI 导读
Amazon 宣布 SGLang-Neuron 正式开放,可通过 AWS Deep Learning Container 在 AWS Trainium 上使用现有 SGLang 接口服务模型并生成 RL rollouts。
来源:AWS Machine Learning Blog · aws.amazon.com