跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

14 条精选近 30 天 10 条共收录 52 条

更新

安全对齐的精选

11月14日周六第 1–14 条
  1. AWS Machine Learning Blog68

    AWS 介绍用反统一比较形式化策略的语义差异

    AWS Machine Learning Blog 介绍了开源 semi-persistent 引擎如何利用 e-graph 和反统一比较形式化策略,通过代数规则与领域重写合并共享结构并定位语义分歧。文章以 Cedar、Dogwood、OpenShell 和 CEL 策略为例,演示从构建、运行到 CI 回归检查的流程,并说明该方法可用于审查 LLM 生成的形式化结果。

    推荐理由:文章通过多个策略案例展示如何用反统一定位形式化策略的语义分歧,并给出构建、运行和接入 CI 的完整方法。

  2. AWS Machine Learning Blog68

    Amazon Bedrock Managed Knowledge Base MCP 工具的细粒度访问控制实践

    Amazon Bedrock Managed Knowledge Base 可通过请求拦截器、ACL awareness、Policy in AgentCore 和资源策略实现 MCP 工具的细粒度访问控制。

    推荐理由:文章用可部署的 AWS CDK 示例说明如何在共享智能体和知识库中实施用户级检索隔离,并覆盖身份注入、策略校验与绕过防护。

  3. AWS Machine Learning Blog81

    在 AWS 上构建基于 A2A 的可组合跨组织多智能体系统

    AWS 演示了如何用 A2A 协议连接两个独立 AWS 账户中的多智能体系统,LangChain 编排器可通过 Agent Card 发现并调用基于 Strands Agents SDK 构建的 SaaS 智能体,双方无需依赖彼此的框架或 SDK。

    推荐理由:文章提供跨框架、跨组织智能体协作的完整 AWS 参考架构,并展示身份隔离、双向回调与信任边界测试的实现方式。

11月13日周五
  1. AWS Machine Learning Blog61

    Amazon Bedrock 四类推理参数如何影响成本

    Amazon Bedrock 的缓存 TTL、服务层级、推理努力程度和 maxTokens 可在模型与提示词不变时影响推理成本。文章通过对照测试说明各参数的成本与质量权衡,并建议每次只改一个设置,再结合响应元数据、CloudWatch、调用日志和计费数据验证效果。

    推荐理由:文章以实测和账单数据拆解四类请求级参数如何影响成本,并给出验证缓存命中、服务层级与任务质量的方法。

11月11日周三
11月10日周二
  1. Google DeepMind86

    Google DeepMind 发布 AlphaProof Code 深度验证 Signal 加密协议

    Google DeepMind 发布 AlphaProof Code,以多 LLM 智能体形式化验证 Signal 核心加密协议的实际代码。该框架由人类定义安全目标并审核规格,Gemini Carbon 驱动的智能体生成逾 600 万行 Lean 证明,Lean 自动检查结果供专家复核。

    推荐理由:材料展示多 LLM 智能体如何形式化验证 Signal 加密协议,并提供 Lean 检查、缺陷复测与开源验证产物等可核查细节。

  2. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics 2.5 机器人模型

    Google DeepMind 发布 Gemini Robotics 2.5 视觉语言动作模型,提升机器人的技能广度、学习速度、灵巧性与安全性。该模型已面向机器人合作伙伴推出,在 200 多项任务中较此前基线取得 30% 至 100% 的更高成功率,任务完成速度提升 20% 至 30%。

    推荐理由:模型在灵巧性、真实产线可靠性和安全控制方面的评测数据,为机器人进入非结构化环境提供了具体参照。

11月6日周五
  1. Microsoft Research71

    Microsoft Research 用 PDD Kit 形式化验证智能体编写的全栈 Web 应用

    Microsoft Research 与 GitHub Next 推出研究原型 PDD Kit,将用户意图转换为 Verus 形式化规范,约束编码智能体生成的代码,并在无法证明的部分回退到测试。

    推荐理由:文章以完整登录流程展示形式化验证如何约束智能体生成代码,并明确区分可证明部分、信任边界与测试覆盖。

10月29日周四
  1. Mistral AI82

    Mistral Large 4 开放权重发布,强化编码与网络安全能力

    Mistral AI 发布改进后的 Mistral Large 4 开放权重版本,这是一款 1-trillion-parameter、原生多模态模型,强化学习后提升编码、推理效率与防御性网络安全能力。

    推荐理由:材料给出开放权重、部署入口、价格及多项编码和网络安全评测,开发者可据此评估其落地方式与性能成本。

10月17日周六
  1. Google Research77

    Google Research 提出面向自主湿实验室的 AI 智能体研究框架

    Google Research 展示 VERID 框架及三项研究,让 AI 智能体能够在湿实验室中执行实验、读取反馈并迭代设计分子。VERID 以实验室工作单元的语义数字孪生追踪设备、试剂和孔位状态,在执行前检查碰撞、耗尽孔位等风险。

    推荐理由:文章展示 VERID 框架和闭环实验如何让 AI 智能体在物理实验室中安全执行并优化分子设计流程。

10月14日周三
  1. GitHub Blog · AI & ML68

    GitHub推出基于ModernBERT的混合式密钥扫描器

    GitHub推出由正则候选生成和微调ModernBERT上下文分类组成的密钥扫描器,并将其扩展至提交前扫描。相比原有LLM流水线,该方案使仓库所有者加权接受率提高11.5%,推送后扫描执行时间降低86%,服务成本降低超过98%;离线评测精度提高13%,召回率提高19%。

    推荐理由:GitHub公开了混合式密钥扫描器的设计与评测结果,可供读者理解如何兼顾密钥检出率、误报率与部署成本。

10月8日周四
10月6日周二
  1. Mistral AI85

    Mistral 发布开源权重模型 Mistral Large 4 公开预览版

    Mistral AI 发布 Mistral Large 4 公开预览版,这是一款 1T 参数、激活 52B 参数的原生多模态模型,权重计划于本月底发布。模型面向编码、智能体工作流、多模态理解和专业任务,公开预览 API 已上线 Mistral Studio,模型在 Mistral 自有欧洲数据中心训练并提供服务。

    推荐理由:文章披露了模型规模、核心基准、训练基础设施与 RL 方法,便于比较其能力边界和部署选择。