AI 安全基金斥资过亿支持安全研究

AI资讯

Sam Altman 旗下安全基金斥资过亿,支持网络与生物安全研究

由 Sam Altman 等人支持的 AI 安全基金(AI Safety Fund, AISF)近日宣布向新一代研究项目拨款超过 1 亿美元,重点支持网络安全与生物安全两大领域的风险防范研究。这一举措意味着 AI 安全资助从「呼吁关注」阶段正式进入「大规模落地」阶段。

{COVER_URL_PLACEHOLDER}

据 Frontier Model Forum 公布的信息,最新一批获得资助的 11 个项目已累计获得超过 500 万美元拨款,而这仅是更大规模资助计划的一部分。AISF 的整体资金池已超过 1 亿美元,资金来源包括多家头部 AI 公司及个人捐赠者的捐款。

最大威胁来自自然还是来自人?

AI 安全基金的此次拨款重点集中于两个看似不同但实则紧密相连的领域:网络安全和生物安全。

在网络安全方面,资助项目聚焦于 AI 驱动的自动化攻击防御、模型提示注入防护、以及 AI 系统的红队测试方法论。随着 AI Agent 技术的成熟,传统的网络安全边界正在被彻底打破——AI Agent 可以自主调用工具、访问数据库、执行代码,这意味着攻击面不再是静态的,而是动态扩张的。英国 AI 安全研究所(AISI)的技术负责人 Marietje Schaake 指出:「AI 安全研究不能再停留在理论层面。我们需要针对实际部署中出现的攻击向量进行实战性研究,这正是基金在资助的方向。」

在生物安全方面,资助项目关注的则是 AI 辅助的 DNA 合成筛查、双用途研究风险评估以及 AI 在生物恐怖主义场景中的滥用防范。今年早些时候,著名科学家 Kevin Esvelt 在 Semafor 的采访中发出警告:AI 现在已经能够设计和运行生物实验,其发展速度已超过监管体系的更新速度,生物恐怖主义风险正在上升。

「AI 可以设计并执行生物实验,这跑在了监管系统前面,增加了生物恐怖主义的风险。」——Kevin Esvelt,MIT 科学家

据统计,全球每年用于 AI 安全研究的资金总额约在 7 亿美元左右,其中 60% 至 70% 来自产业界。AISF 的 1 亿美元拨款虽不算天文数字,但其作为独立于单一公司的资助渠道,在研究方向的选择上具有更大的独立性。

企业视角:安全研究为什么仍被「欠投资」?

尽管 AI 安全已经成为一个热门话题,但从资金分配来看,安全研究的占比仍然严重不足。LongtermWiki 的分析指出,由于行业主导(产业界占到全部 AI 安全资金的 60-70%),AI 安全研究的效率因利益冲突而损失了 30% 至 50%。

「产业界的 AI 安全研究天然带有选择性——企业倾向于资助那些不会质疑其商业模式的研究方向,」曾参与多个 AI 安全评估项目的独立研究员 Caitlin G. 表示。「一个客观存在的矛盾是:最需要被批判性审视的 AI 安全问题,往往正是那些公司不愿意出钱研究的问题。这也是为什么像 AISF 这样的独立资助机制至关重要。」

Sam Altman 本人近年来在 AI 安全方面的表现一直备受争议。一方面,他多次在公开场合强调 AI 安全的紧迫性,并参与了国土安全部的 AI 安全委员会;另一方面,《纽约客》的调查报道揭示了 OpenAI 内部安全承诺在实际执行中的种种缩水。此次通过 AISF 大额拨款支持安全研究,某种程度上可以被视为对这一批评的回应。

用户视角:安全研究离普通人有多远?

对普通互联网用户来说,AI 安全基金资助的研究项目看似遥远,但其成果最终会以更直接的方式影响每个人的数字生活。

网络安全研究的突破意味着:AI 聊天机器人被诱导泄露隐私数据的可能性降低,基于 AI 的钓鱼攻击能被更有效地识别,个人在 AI 系统中的数据控制权得到加强。而在生物安全方面,更好的 AI 滥用防范机制意味着未来致命病原体被 AI 辅助合成的门槛将会提高。

OpenAI 此前发布的网络安全资助计划已经展示了这种转化路径——获得资助的研究成果被整合进 GPT 系列模型的安全层中,形成了从研究到产品部署的闭环。

为 AI 安全买一份「保险」

1 亿美元对于 AI 安全研究来说,既不算少,也绝对不算多。考虑到头部 AI 公司每年的资本支出已达到数千亿美元的量级,安全研究的投入仍然只是零头。这就像花了几十亿建造一艘高速飞船,却只花了几百万检查它的刹车系统。

AISF 的这笔拨款是一个积极的信号,但远远不够。真正的安全投入应该与 AI 能力的增长速度相匹配,而不是永远在事后追赶。人类正在建造可能是历史上最强大的技术系统,给它配一套靠谱的安全系统,是最基本的理性。


参考: