世界首个AI程序员Devin视频竟造假?博主逐帧解析,代码任务完成很糟

首页 > 科技

世界首个AI程序员Devin视频竟造假?博主逐帧解析,代码任务完成很糟

来源:西红柿 发布时间:2024-04-14 17:03

世界首个AI程序员Devin视频竟造假?博主逐帧解析,代码任务完成很糟

  新智元报道  

编辑:桃子

【新智元导读】全球首个AI程序员Devin被爆视频造假?YouTube博主近日揭露了背后明星初创公司Cognition的谎言,通过逐帧分析发现,Devin并不能独立完成Upwork工作。

全网爆火的世界首个AI程序员Devin,如今被爆出视频竟是作假?

最近,一位有35年软件工程师经验的YouTube博主去逐帧复现了,Devin完成Upwork任务的宣传视频。

却意外发现,AI并不能像人类工程师一样完成任务,而且非常糟糕。

他将25分钟「揭穿Devin的谎言」视频公开后,一时间引爆全网并在HN、Reddit等社交平台上掀起轩然大波。

更有意思的是,博主自己复制了Devin尝试做的任务,花费了大约36分钟。

然而,Devin用了至少6个小时,甚至可能超过一天。

有网友表示,「正如博主详细解释的那样,尽管其试图在演示中暗示,Devin并不能独立完成Upwork的工作。它正在创建混乱、过于复杂的代码」。

也有人认为,Devin从诞生之初,就更多的是营销和炒作,而不是现实。

说来,Devin视频真的是作假了吗?

逐帧分析,揭穿Devin的谎言

Devin发布之初,背后初创公司Cognition AI更新的官方博文中,通过七个视频介绍了这一AI的「魔力」。

其中,一个视频是,让Devin自主完成了全球最大的综合类自由职业平台Upwork的一项任务。

当时,网友看后惊讶地表示,没想到AI智能体都可以做副业了。

Cognition的开发者You挑选了一项「用计算机视觉模型做推理」的工作,具体要求是:

- 我希望利用该资源库中的模型进行推断。(https://github.com/mahdi65/roadDamageDetection2020)

- 您的交付成果将是关于如何在AWS的EC2实例中进行操作的详细说明。

- 请提供您完成这项工作的评估报告。我不会回复没有评估的报告。

如下是Devin在官方视频中,完成任务的表现。

接下来,一起看下YouTube博主如何逐帧分析,Devin在真正实操中的能力。

博主称,我们首先看到Devin并不是能做Upwork上的任何工作,而是在这项任务中,研究者精心挑选了「road damage」任务。

当然,这并非说Devin就是欺骗性的,而是代表其在别的任务中的表现,一定要比这个差。

然后,在实际对话中,开发者You向Devin提出的要求如下,「我想用这个储存库中的模型进行推理,请弄清楚」。

上一篇:Claude 3说服... 下一篇:开通花呗的流...
猜你喜欢
热门阅读
同类推荐