OpenAI近日发布了对其Codex编码代理的重大更新,此举被视为其未来桌面超级应用(整合ChatGPT、Codex和Atlas网络浏览器)的基础性进展。尽管该超级应用尚未正式推出,但此次Codex更新显著扩展了其功能边界,并为开发者预览了OpenAI的未来愿景。
Codex负责人Thibault Sottiaux在新闻发布会上表示:“我们正在公开构建这款超级应用。此次发布主要面向开发者,未来将扩展至更广泛的用户群体。”目前,最新版Codex为开发者提供了多用途AI代理,这些代理可在“更大的交互界面”上工作,并具备更强的“主动性”。
新功能亮点包括:
- 电脑使用能力:Codex代理现在能够与PC上的其他应用程序交互。开发者在提示模型时,可以直接指定程序,或让AI自行判断最适合完成任务的应用。OpenAI特别强调,其“秘密武器”在于能让AI代理在不拖慢整个系统的情况下运行应用程序,实现人机协同工作。
- 111个新插件:此次更新发布了111个新插件,整合了技能、应用程序集成和模型上下文协议服务器连接,极大地增强了Codex获取上下文信息和利用开发者常用工具的能力。
- 内置浏览器与评论系统:Codex集成了浏览器功能,并加入了评论系统。用户可以通过评论系统提示Codex调整网页或正在开发的Web应用的特定部分,例如调整图表边距以防止Y轴截断。
- 内置图像生成:Codex现在可以使用gpt-image-1.5模型生成产品概念、模型、前端设计,甚至是简单游戏的素材。它还能通过截图验证其是否正确理解用户请求。
- 记忆功能预览:OpenAI还预告了两项记忆功能。一是Codex能够回忆之前任务的上下文,以指导未来的提示响应,从而提高请求完成的速度和质量。二是应用将根据收集到的上下文主动建议操作,例如在一天开始时提醒用户回复同事在Google Doc草稿中的评论。
目前,OpenAI已开始向使用ChatGPT账户登录的桌面应用用户推出新版Codex。