美团发布 1.6 万亿参数开源多模态智能体模型 LongCat-2.5
美团 LongCat 团队发布 LongCat-2.5 权重,这是一款总参数量 1.6 万亿、每 token 激活约 480 亿参数的 MoE 智能体模型,面向长流程编码任务,并支持文本、图像和视频输入。
推荐理由:文章梳理了 LongCat-2.5 的开放权重、硬件适配方式与多项智能体基准表现,便于评估其部署成本和能力位置。
技术方向
怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。
40 条精选近 30 天 34 条共收录 97 条
美团 LongCat 团队发布 LongCat-2.5 权重,这是一款总参数量 1.6 万亿、每 token 激活约 480 亿参数的 MoE 智能体模型,面向长流程编码任务,并支持文本、图像和视频输入。
推荐理由:文章梳理了 LongCat-2.5 的开放权重、硬件适配方式与多项智能体基准表现,便于评估其部署成本和能力位置。
美国联邦航空管理局(FAA)将用于协助管制员管理空中交通拥堵的 SMART 系统,扩展至全国 22 个管制中心。FAA 称,该系统自 9 月 21 日在华盛顿特区空域部署以来,已帮助改道 180 个航班,平均每班节省 10 分钟和近 80 加仑燃料;系统会综合天气、航路、交通流量及人员配置指标提出建议,最终仍由华盛顿特区的 FAA 专家团队验证后传给各地管制机构。
推荐理由:材料同时呈现了 SMART 扩展部署后的效率收益,以及行业工会未参与设计和测试所引发的实施背景。
OpenFold3-preview 可通过 Amazon SageMaker JumpStart 部署到 AWS 账户,利用异步推理端点预测蛋白质、DNA、RNA、小分子配体及其复合物的三维结构。
推荐理由:文章提供了从部署、异步调用到多 GPU 并行和结果解读的完整流程,并展示自带 MSA 对结构预测置信度与配位结果的影响。
Amazon Bedrock AgentCore runtime V2 通过预构建快照、恢复内存状态并将文件按需读取,让新会话启动时间缩短且更稳定。官方教程建议把静态导入、客户端和内存数据移至初始化阶段,使用构建钩子预热大文件,并在用户进入应用时后台启动会话以追求亚秒级响应。
推荐理由:文章给出四种会话快速启动模式,并说明初始化重构、构建钩子与预热的适用边界。
Google Research 展示了 Antigravity /teamwork 多智能体工作流在科学研究与系统工程中的成果,包括辅助证明信息论猜想、形式化 Weil 猜想和解析分子结构,并完成代码迁移与基础设施优化。团队称该功能已面向研究者和开发者在 Antigravity 开放,用户每周可免费调用两次 Deep Review,后续将加入正式证明等专用工作流。
推荐理由:文章汇总了多智能体系统在数学证明、化学发现和系统工程中的实验结果,并说明其验证机制与工程实践。
Amazon Bedrock 可将每次推理调用归因到发起请求的 IAM principal,并通过 CUR 2.0、Cost Explorer 和组织标签提供用户、团队及成本中心级成本视图。
推荐理由:文章提供从身份传播、权限集到成本报表和用量控制的完整配置路径,便于评估多款 AI 工具共用 Bedrock 时的治理方案。
Amazon Bedrock AgentCore 发布 Web Search API,开发者可通过 AWS SDK 或 AWS CLI 调用 InvokeWebSearch,以单次 API 请求获取网页搜索结果。
推荐理由:文章给出直接调用、网关集成和私有网络接入方案,便于开发者按智能体或非智能体场景选择集成路径。
AWS 介绍如何在 SageMaker HyperPod 的 PyTorch DDP 训练循环中检测静默数据损坏,并通过节点隔离、检查点和替换完成恢复。三项检查分别覆盖 NaN/Inf 梯度、跨节点环形重放和更新后的权重指纹;方案已在 4 个 ml.p5.48xlarge 实例、32 张 NVIDIA H100 GPU 上测试,并提供配套 GitHub 仓库。
推荐理由:文章给出可复用的三项检查、故障定位和节点恢复流程,并用故障注入与性能数据说明检测边界和代价。
AWS Machine Learning Blog 介绍了开源 semi-persistent 引擎如何利用 e-graph 和反统一比较形式化策略,通过代数规则与领域重写合并共享结构并定位语义分歧。文章以 Cedar、Dogwood、OpenShell 和 CEL 策略为例,演示从构建、运行到 CI 回归检查的流程,并说明该方法可用于审查 LLM 生成的形式化结果。
推荐理由:文章通过多个策略案例展示如何用反统一定位形式化策略的语义分歧,并给出构建、运行和接入 CI 的完整方法。
AWS 提出 Agent DLC,通过一个生命周期、内外两层循环和统一的验收标准来评估并改进生产环境中的 AI 智能体。其参考实现展示了高检索精度可能掩盖事实级覆盖不足,并说明提示词改动为何无法解决知识库缺失。文中还给出五维验收标准、三级发布门槛,以及在 AWS 上建立首个评估基线的步骤。
推荐理由:文章用内部 HR 政策助手案例说明单一指标可能掩盖检索覆盖问题,并给出可复现的评估流程。
Amazon Bedrock Managed Knowledge Base 可通过请求拦截器、ACL awareness、Policy in AgentCore 和资源策略实现 MCP 工具的细粒度访问控制。
推荐理由:文章用可部署的 AWS CDK 示例说明如何在共享智能体和知识库中实施用户级检索隔离,并覆盖身份注入、策略校验与绕过防护。
AWS 演示了如何用 A2A 协议连接两个独立 AWS 账户中的多智能体系统,LangChain 编排器可通过 Agent Card 发现并调用基于 Strands Agents SDK 构建的 SaaS 智能体,双方无需依赖彼此的框架或 SDK。
推荐理由:文章提供跨框架、跨组织智能体协作的完整 AWS 参考架构,并展示身份隔离、双向回调与信任边界测试的实现方式。
Amazon SageMaker HyperPod Data Capture 可在端点、负载均衡器和模型 Pod 三个层级记录线上推理数据,并写入 Amazon S3。
推荐理由:本文给出从生产推理数据采集、分析、标注到微调和并排部署的完整流程,并提供可复用配置与脚本。
llama.cpp 发布 v1.0.0 库版本,与机器学习张量库 ggml v1.0.0 一同确立公共 C API、ABI 与主版本升级规则。项目通过量化、优化后端和可移植的 C/C++ 实现支持跨平台本地 AI 推理,目前支持超过 150 种模型架构变体及主流推测解码方法,并继续扩展 Linux、macOS、Windows、Android 和 iOS 等发行渠道。
推荐理由:llama.cpp v1.0.0 明确了 API 与 ABI 的版本边界,并延续跨平台、跨硬件的本地推理定位,为依赖其库接口的下游项目提供了可追踪的升级依据。
GitHub Copilot 团队介绍了构建可复用 Agent skills 的方法,涵盖任务定义、多技能协作、manifest 配置、共享执行路径、人工审批和 CI 检查。
推荐理由:文章以 Proof Agent 和 Data Forge 为例,拆解技能的职责划分、配置隔离、执行路径、审批检查与跨客户端打包方法。
Amazon Bedrock 的缓存 TTL、服务层级、推理努力程度和 maxTokens 可在模型与提示词不变时影响推理成本。文章通过对照测试说明各参数的成本与质量权衡,并建议每次只改一个设置,再结合响应元数据、CloudWatch、调用日志和计费数据验证效果。
推荐理由:文章以实测和账单数据拆解四类请求级参数如何影响成本,并给出验证缓存命中、服务层级与任务质量的方法。
AWS 提供了一套在 Amazon Bedrock 上核算和降低智能体任务成本、验证 ROI 的实践框架。成本核算需考虑 tokenizer 效率、输出冗余、智能体循环和推理开销四项隐性因素,并通过提示词缓存、智能路由、输出约束和批量推理优化成本;效果验证则依赖人工基线、受控留出实验、流程遥测,以及效率、质量、成本和业务影响等维度的记分卡。
推荐理由:文章给出按任务核算智能体成本的完整方法,并说明如何通过基线、留出实验和五维记分卡验证投入回报。
AWS 展示了如何将 LiteLLM 部署在 AWS Fargate 上,通过 OpenAI 兼容 API 为 Claude Code、Continue 和 Cursor 提供统一的 Amazon Bedrock 接入,并支持按用户成本控制、API key 自助签发和可观测性。
推荐理由:文章提供完整架构与 AWS CDK 片段,并总结数百名开发者规模下的延迟、成本和权限配置经验。
Hugging Face 提供了 TRELLIS.2 的 LoRA 微调脚本和 Docker 容器,可在 Hugging Face Jobs 或本地运行。
推荐理由:文章提供完整容器、数据准备与训练命令,并说明如何按任务选择微调组件及评估几何效果。
Google DeepMind 发布 AlphaGenome 2,用于预测 DNA 序列及其变异对特定人类细胞类型的影响。模型基于超过 107 million 个细胞档案和 68 种组织训练,在 TenK10K 数据集上识别出的因果变异比例由 16% 提升至 30%,方向性基因效应由 23% 提升至 43%。
推荐理由:AlphaGenome 2将DNA变异预测细化到具体细胞类型,并公开细胞条件化与跨模态预测能力,方便研究者比较其疾病相关预测效果。