}

(文/赖家琪 编辑/吕栋)

OpenAI突然给一路狂奔的人工智能(AI)研究踩了一脚刹车。

当地时间8月18日,OpenAI在其官网公布,随着前沿AI模型能力的提升,内部开发和测试的风险也在增加。鉴于此,公司已暂时放缓包括下一代AI模型Astra在内的模型扩展速度,同时将实施一系列新的安全防护措施。

再加上Anthropic收入大幅不及预期,以及美债的抛售潮在加速,直接让美国科技股遭受重挫。

19日隔夜美股市场三大指数集体收跌,AI产业链相关股票明显回调,存储、光通信、AI云服务等板块大幅下挫,其中闪迪、SK海力士、希捷科技跌幅均超过9%。

压力也传导至亚太市场。截至收盘,沪指跌2.4%,深成指跌5.01%,创业板指跌6.26%。盘面上,算力硬件、半导体芯片、机器人、创新药等方向跌幅居前。

日韩方面,日经225指数收跌3.16%,报65326.42点;韩国KOSPI指数收跌5.80%,报6471.17点。其中,SK海力士跌近10%,三星电子跌超8%。全市场超5000只个股下跌,逾百股跌停。

当天9时左右,KOSPI200指数期货还触发“侧车”机制(下跌超过5%并持续1分钟以上),市场程序化卖出报价暂停5分钟。

虽然市场波动并非完全由OpenAI此次决定单独造成,但在AI产业链此前估值高企、市场对AI资本开支和商业化前景高度敏感的背景下,OpenAI释放出的“踩刹车”信号,无疑进一步放大了投资者对AI发展速度和安全风险的担忧。

安全警报拉响,OpenAI暂缓前沿模型训练

“我认为现在是放慢脚步的好时机。”OpenAI首席执行官萨姆·奥尔特曼上周对美国《时代》周刊解释公司暂停开发Astra模型的决定时说道。

OpenAI曾于7日承认,即将推出的Astra模型可能已经达到《准备框架》的网络安全能力关键阈值,决定暂停该模型所有未达到强化安全标准的内部研发工作。

18日,OpenAI表示,近期对于面向部署的最新模型,他们暂停两周的强化学习训练,其规模最大的前沿强化学习训练则至今仍未恢复。该公司没有透露恢复的具体时间,仅称将进行小规模训练和评估,直至新的安全措施到位。

OpenAI网站

奥尔特曼强调,做出此次放缓决定并不是因为发现了某个足以引发恐慌的“确凿证据”,而是在多项研究结果共同推动下的决定。

根据OpenAI官网19日发布的信息,近几周发生的两起事件凸显出AI模型功能日益强化带来的风险。

其中一起是OpenAI入侵AI平台Hugging Face(抱抱脸)事件。一套尚未发布的OpenAI模型在一次内部网络安全评估中逃脱“沙盒”环境,自主推演攻破了Hugging Face的生产服务器,而OpenAI研究人员花了大约一周时间才发现此事。

OpenAI首席科学家雅库布·帕乔茨基承认,公司此前已经具备监测模型“正在计划什么”的工具,但由于低估了涉事模型的能力,没有在评估中启用相关监测。

另一起事件则与Astra模型相关。OpenAI初步判断,这款尚未发布的模型可能达到公司《准备框架》的网络安全能力“关键”阈值。《准备框架》是OpenAI在2023年提出的一套评估标准,达到“关键”阈值意味着必须具备充足的安全措施贯穿模型开发过程。

上述两起事件,再加上内部研究的飞速推进,让OpenAI“迫切地”需要在训练过程的各阶段“加强监控、协调和遏制保障措施”。

该公司18日表示:“我们的监控、校准和安全标准必须始终领先于这些风险。为了确保达到这些标准,我们暂时放慢了扩展速度。”

用户不买账,Anthropic会跟吗?

OpenAI从监控、对齐和安全措施三个方向设置了防线。

第一道是监控,及时发现模型可能存在的异常或危险行为;第二道是对齐,让模型更大程度地按照人类指示行动,并降低其实施有害或未经授权行为的可能性;第三道则是安全措施,限制AI模型能够访问和影响的系统、工具及网络资源等。

除了强化研究环境的安全防护,OpenAI也扩大了对模型行为的监测范围,将采用新的多阶段架构监控系统。

该系统将检查模型的工具调用、可获得的推理信息以及完整活动序列,重点识别未经授权的访问、数据窃取、破坏性行为、试图绕过安全防护等行为。其目标是在监控系统发现可疑活动后的30分钟内发出警报。

若系统判断模型可能违反了关键安全边界,则会生成最高优先级的警报,安全、安保和研究团队将立即收到通知。团队需要在30分钟内判断该警报是否属于误报,并做出是否暂停相关活动的决定。所有涉及Sol级或更高级别模型工具的强化学习训练和评估都需要进行此项监控。

当然,这套防护措施也会消耗大量算力。据OpenAI估算,尽管不同训练和评估任务之间的成本差异较大,监控系统产生的额外开销大约相当于被监控推理任务计算量的20%。

不过,用户们对于OpenAI的最新举措并不买账。

在宣布上述消息的社媒贴文下方,一位网友直言:“透明度和安全性都是营销术语。”另一人写道,“哦,又多了一项‘安全措施’。那现在呢……以前成年人要像青少年一样被对待,现在却要像婴儿一样被对待?而且每次我们投诉,你们的客服机器人只会给我们几个热线电话号码。真是专业啊。”

部分人则推测,这意味着Astra模型将推迟发布。预测市场Polymarket的数据显示,随着OpenAI发布最新公告,Astra模型在8月内发布的概率已经下降至13%。OpenAI方面暂未透露新的安全流程可能会让Astra推迟多长时间发布。

社交媒体

对于下一步,OpenAI表示,不会简单地在现有安全框架上打补丁,而是准备进一步升级《准备框架》。该公司计划邀请外部机构参与框架修订,并在方法不断完善的过程中分享更多经验。

但正如OpenAI负责安全和协调工作的米娅·格莱斯(Mia Glaese)19日所说:“我们距离一切恢复正常还很远。”

值得一提的是,OpenAI的决定也让其与另一家AI巨头Anthropic之间的竞争出现了一丝微妙变化,两家公司目前都在准备IPO(首次公开发行股票)。

《时代》周刊2月报道称,Anthropic已经弱化了此前的一项承诺,即如果无法提前确保足够的安全防护,公司将停止训练相关模型。

Anthropic联合创始人贾里德·卡普兰(Jared Kaplan)当时认为,如果竞争对手仍在一路狂奔,单方面作出这样的承诺就没有意义。

如今,OpenAI主动放慢了脚步,可能会给竞争对手施加更大压力,迫使其采取同样的措施。

与OpenAI一样,Anthropic也正在为预期中的IPO做准备。美国彭博社近期披露的数据显示,Anthropic第二季度营收超过115亿美元,截至7月底,其年化营收运行率已经超过650亿美元。而OpenAI最新公布的年化营收运行率接近400亿美元。

当AI能力不断刷新上限时,一家急于实现商业化的前沿模型公司真的愿意放慢研发的步伐吗?

奥尔特曼认为,“我不喜欢这个行业里‘我们必须竞速’,或者‘因为别人会这么做,所以我们也必须这么做’的逻辑。我认为这是一种非常危险的动态”。