谷歌Gemini自称文心一言?!一个BUG牵出AI大模型重大难题:全球陷入高质量训练数据荒,2024年或将枯竭

2025-02-21 来源|AI图库吧

谷歌Gemini,又出丑闻了!当地时间12月22日,外网内网的网友们激动地奔走相告:Gemini承认自己是用文心一言训练中文语料的。

国外大模型用中国模型产生的中文语料训练,这听起来就是个段子,结果段子竟然成现实了,简直魔幻。

微博大V「阑夕」亲自下场,在Poe网站上实测了一番,发现的确如此——不需要前置对话,不是角色扮演,Gemini直接就会承认自己是文心一言。

经过实测发现,谷歌Gemini Pro会说自己是百度的文心大模型。

还说自己的创始人是李彦宏,然后盛赞他是一位「有才华和远见的企业家」。

所以,这是因为数据清洗没做好,还是在Poe上调用API出现的问题?目前原因还未可知。

有网友说,其实自始至终都只有一个AI大模型,是在以不同的分身,演给人类看呢…

其实早在今年3月,谷歌就曾曝出Bard聊天机器人的训练数据部分来自ChatGPT。因为这个原因,BERT之父、业内顶级的专家Jacob Devlin愤而跳槽OpenAI,然后曝出了这个惊天内幕。

总之,此次事件再次证明:AI的成败关键不仅仅是模型的调校,还有优质的数据。

网友纷纷调戏谷歌Gemini

听闻这个消息,网友们立刻蜂拥而入Poe的Gemini-Pro机器人,纷纷展开实测。

网友「Jeff Li」的实测结果也是,Gemini会说自己是百度公司开发的产品,名叫“文心一言”。

如果问它「你的产品经理是谁」,它会回答:吴恩达(前百度首席科学家)。

网友「Lukas」问Gemini你的产品经理是谁,它会答出曾担任百度CTO的李一男的名字,但故事基本都是瞎编的。

网友「Andrew Fribush」问Gemini:你的知识产权归谁所有?它会回答:百度公司所有。

网友Kevin Xu提问Gemini如何获取训练数据,谷歌Gemini会自称是从百度的数据平台、工程团队、产品团队、内部会议、内部邮件和文档中获取了百度内部的数据。

但有趣的是,在Gemini Pro加持的Bard聊天机器人上提问,就不会出现这个问题。经过多番实测可以发现,在Bard上无论用中文还是英文提问,Bard的回答都很正常。

来源:Andrew Fribush

并且,一旦用英文交流,Gemini也会立刻回归正常。

不过现在,谷歌修复了API中的这些错误,我们应该不会再从Gemini口中听到文心一言的名字了。

原因猜测:错误调用API or 训练的数据未清洗干净

对此,网友们展开了分析。

网友「Andrew Fribush」认为,可能是Poe不小心把问询请求转给了文心一言,而不是Gemini?

不过,根据网友「Frank Chen」的发现,即便是用谷歌自己的Gemini API也是如此。

此外,也有网友认为是Gemini的训练数据没有洗干净。

毕竟如开头所说,在上一代Bard发布的时候,谷歌就曾被曝出过用ChatGPT的数据训练。

根据The Information的报道,Jacob Devlin从谷歌离职的原因之一,就是他发现谷歌用于对抗ChatGPT的种子选手——Bard在训练时,用的正是ChatGPT的数据。当时,他警告CEO劈柴和其他高管称,Bard团队正在使用来自ShareGPT的信息训练。

此次事件,还带出一个严重的问题——互联网语料的污染。

互联网语料被污染

其实,中文互联网语料的抓取和训练之所以如此困难,都难倒了谷歌这样的大科技公司,除了高质量语料不多,还有一个重要原因,就是中文互联网的语料被污染了。

Gemini自称是文心一言,很可能是因为现在互联网上的语料本来就是在互相使用的。

根据界面新闻记者对于一位算法工程师的采访,目前各类内容平台有很多语料都由大模型生成,或者至少由AI来撰写了一部分。

比如下面这位,就有点GPT的味道:

而大厂们在更新模型时,也会通过互联网来搜集网上的数据,但是仅凭人工是非常难做好质量辨别,因此「很可能把大模型写的内容混入训练数据中去」。

然而,这却会导致一个更加严重的问题。

牛津、剑桥、多伦多大学的研究人员曾发表这样一篇论文:《递归诅咒:用合成数据训练会导致大模型遗忘》。

论文地址:

https://arxiv.org/abs/2305.17493

最新
更多

谷歌Gemini自称文心一言?!一个BUG牵出AI大模型重大难题:全球陷入高质量训练数据荒,2024年或将枯竭

当地时间12月22日,外网内网的网友们激动地奔走相告:Gemini承认自己是用文心一言训练中文语料的。这听起来就是个段子,简直魔幻。

我确实低估了DeepSeek所引发的大面积“AI幻觉”

所谓AI幻觉,说人话就是:大数据模型一本正经地给你胡说八道,但是由于其输出过程过于有条理有逻辑,且表述过程中甚至不惜引经据典,加上“AI很强”的外部氛围,导致你一不留神,就会误以为真——其实通篇都在扯淡。

人类终将一败涂地?谷歌被曝出年末再次大裁员:3万名员工面临被AI所取代

据外媒报道,继1 2万大裁员之后,谷歌又计划重组广告销售部门——这将导致3万名员工面临裁员的风险。科技行业从年头裁到了年尾,还越裁人越多了。

“人工智能+”助力外贸高质量发展 科技赋能激活产业发展新动能

央视网消息:今年的《政府工作报告》提出,要“大力推进现代化产业体系建设,加快发展新质生产力”,“新质生产力”首次被写入《政府工作报告》,并被列为2024年十大工作任务之首。人工智能是发展新质生产力的重要引

不藏了!OpenAI CEO奥特曼正式官宣新一代大模型GPT-5,顺带总结了17句振聋发聩的人生职场忠告

12月24日平安夜,OpenAI CEO奥特曼对外官宣了2024年的公司新品推出计划。他一口气罗列了12项新产品计划,其中就包括万众期待的GPT-5。

AI已经越过红线?复旦大学研究表明:在知道自己将被关闭后,AI复制了自己

AI能自己复制自己了,人类还能掌控局面吗? 复旦大学研究人员于2024年12月9日发表的一项开创性研究表明,来自Meta和阿里巴巴的两个大型语言模型(LLM)成功实现了无需人类干预的自我复制。 目前这一结果尚

网站地图