11月12日,在百度世界2024大會(huì)上,李彥宏在主題為《應(yīng)用來(lái)了》的演講中,公開(kāi)對(duì)外表達(dá)了“過(guò)去24個(gè)月,AI行業(yè)的最大變化是什么?是大模型基本消除了幻覺(jué)”的看法,并且發(fā)布了檢索增強(qiáng)的文生圖技術(shù)(iRAG),稱(chēng)其可“用于解決大模型在圖片生成上的幻覺(jué)問(wèn)題,極大提升實(shí)用性”。
然而在體驗(yàn)中,新識(shí)研究所卻發(fā)現(xiàn)文心一言在文字與文生圖上消除/解決了幻覺(jué),可能只是李彥宏的“幻覺(jué)”。
一:李彥宏說(shuō)大模型消除幻覺(jué),文心一言復(fù)現(xiàn)卻漏洞百出?
作為在發(fā)布會(huì)上展示的技術(shù),除了當(dāng)場(chǎng)演示不翻車(chē)之外,最起碼要做到讓用戶(hù)可以復(fù)現(xiàn)。但李彥宏這次的現(xiàn)場(chǎng)演示,卻實(shí)在讓人懷疑他用的是不是提前預(yù)設(shè)好的東西。
在大會(huì)當(dāng)場(chǎng),李彥宏隆重推出了檢索增強(qiáng)的文生圖技術(shù)——iRAG。據(jù)介紹,該技術(shù)將百度搜索的億級(jí)圖片資源與基礎(chǔ)模型能力相結(jié)合,能生成極為逼真的圖片。李彥宏強(qiáng)調(diào),iRAG技術(shù)效果遠(yuǎn)超原生文生圖系統(tǒng),成功消除了機(jī)器味,并顯著提升了AI生成圖片的實(shí)用性。
那么是怎么個(gè)消除了機(jī)器味、證明生成的圖片是真實(shí)的呢?李彥宏拿出了天壇作為案例。
首先,李彥宏使用某開(kāi)源模型生成了一張北京天壇的圖片,然后告訴大家,這張?zhí)靿瘓D片是錯(cuò)誤的,因?yàn)樘靿挥腥龑佣撻_(kāi)源模型生成的圖片中天壇有四層,并告訴大家,這就是圖像等多模態(tài)模型幻覺(jué)的最真實(shí)情況。
而在指出這個(gè)開(kāi)源模型的錯(cuò)誤后,李彥宏也展示了文心一言利用iRAG技術(shù)生成的愛(ài)因斯坦在天壇的圖片,以展現(xiàn)百度iRAG技術(shù)消除多模態(tài)模型幻覺(jué)的實(shí)力。
這一切看似很流暢,使用了iRAG技術(shù)生成的圖片也的確不再“臆想”,但在我們復(fù)現(xiàn)該圖片的時(shí)候,卻出現(xiàn)了問(wèn)題。
在同樣的要求之下,文心大模型生成的“天壇”卻不像李彥宏當(dāng)場(chǎng)展示的一般,而是給出了有四層的“天壇”圖片,這不剛好也算是犯了李彥宏指出同行們的錯(cuò)誤嗎?
在層數(shù)之外,這張生成的“天壇”照片在下面欄桿的數(shù)量上也與真實(shí)的天壇對(duì)不上號(hào),真實(shí)的天壇共有三層欄桿,而生成的圖片則有四層甚至五層欄桿出現(xiàn)。
或許有人覺(jué)得我這樣的要求有點(diǎn)“吹毛求疵”,但在五次同樣的要求之下,文心一言有三次給出了“打臉”李彥宏的輸出結(jié)果,實(shí)在令人有些汗顏。
而在另外一張現(xiàn)場(chǎng)展示的“大眾攬巡汽車(chē)飛躍長(zhǎng)城”圖片上,文心一言也給出了同展示相去甚遠(yuǎn)的答案。
左上圖為真實(shí)的大眾攬巡,左下為大會(huì)展示的大眾攬巡,而右圖則為再次生成的大眾攬巡,李彥宏展示的圖片與真實(shí)的攬巡的確相差不遠(yuǎn),但為何再次生成的圖片,連大眾的logo都被“幻覺(jué)”掉了呢?
在圖片之外,李彥宏表示文字層面的RAG已經(jīng)做得很好,基本讓大模型消除了幻覺(jué),但作為日常深度使用各家大模型的用戶(hù)來(lái)說(shuō),起碼在豆包、Kimi、文心一言這些大眾使用頻率最高的大模型應(yīng)用上,是遠(yuǎn)遠(yuǎn)達(dá)不到李彥宏所說(shuō)的程度的。
而從技術(shù)上來(lái)說(shuō),RAG(檢索增強(qiáng)生成)本質(zhì)上是一種基于信息檢索方法緩解LLM幻覺(jué)的技術(shù),就是無(wú)法徹底杜絕模型的幻覺(jué)問(wèn)題,這似乎就是Transformer架構(gòu)本身的問(wèn)題,例如在處理代碼編寫(xiě)和數(shù)學(xué)等需要推理的任務(wù)時(shí),RAG的表現(xiàn)就不那么理想了,而如此武斷地給出RAG基本讓大模型消除了幻覺(jué)的論斷,真的沒(méi)有問(wèn)題嗎?
二:李彥宏,才是被“忽悠瘸”的那個(gè)?
如果說(shuō)像這樣的事件是偶然的話(huà)那還可以理解,但從AI時(shí)代開(kāi)始李彥宏與百度的多次發(fā)聲與動(dòng)作來(lái)看,也不能排除李彥宏被下面做產(chǎn)品、做業(yè)務(wù)甚至所宣傳的人“忽悠”出幻覺(jué)的可能。
作為最先發(fā)布大模型的企業(yè),百度的文心一言在去年年初可謂是風(fēng)光無(wú)兩,就差把中國(guó)大模型之光的title安在腦袋上了。但一年半之后的現(xiàn)在,占盡先發(fā)優(yōu)勢(shì)的文小言的MAU只有豆包的四分之一,同文心一言年齡相仿的月之暗面的產(chǎn)品Kimi也快要趕上。
而要追究個(gè)中原因,雖然的確脫不開(kāi)近幾個(gè)月豆包有抖音“獨(dú)家宣傳權(quán)”、Kimi大肆燒錢(qián)的因素,但歸根結(jié)底,還是由于百度在大模型上的進(jìn)展并沒(méi)有保持住領(lǐng)先優(yōu)勢(shì)。
在今年4月Create 2024百度AI開(kāi)發(fā)者大會(huì)上,百度帶來(lái)了包括智能體開(kāi)發(fā)工具AgentBuilder、AI原生應(yīng)用開(kāi)發(fā)工具AppBuilder、各種尺寸的模型定制工具M(jìn)odelBuilder在內(nèi)的三個(gè)AI開(kāi)發(fā)工具,其中的智能體開(kāi)發(fā)工具AgentBuilder似乎有很大的超越性,也被百度寄予了厚望。
但是,在創(chuàng)建智能體的能力上,百度的超越性并沒(méi)有宣稱(chēng)的那么大。
以豆包為例,發(fā)現(xiàn)智能體、創(chuàng)建AI智能體也早已對(duì)C端用戶(hù)放開(kāi),并在真實(shí)的使用中并不輸給百度AgentBuilder開(kāi)發(fā)的智能體。
李彥宏對(duì)于大模型技術(shù)和趨勢(shì)的一些發(fā)言和判斷,也經(jīng)常會(huì)讓人覺(jué)得與現(xiàn)實(shí)發(fā)展并不相符。
同樣在今年4月Create 2024百度AI開(kāi)發(fā)者大會(huì)上,李彥宏曾表示:“開(kāi)源模型會(huì)越來(lái)越落后”。他給出的原因是,大家以前用開(kāi)源覺(jué)得便宜,其實(shí)在大模型場(chǎng)景下,開(kāi)源是最貴的,所以開(kāi)源模型會(huì)越來(lái)越落后。
開(kāi)源模型成本高就一定會(huì)落后?顯然并不是直接的因果關(guān)系。更何況在技術(shù)領(lǐng)域,幾乎每一個(gè)開(kāi)發(fā)者都信奉開(kāi)源的力量,認(rèn)為開(kāi)源驅(qū)動(dòng)了絕大多數(shù)技術(shù)創(chuàng)新,那為什么到了李彥宏這里就出現(xiàn)了另一種答案呢?
而再往前,早在去年百度發(fā)布文心一言時(shí),李彥宏就稱(chēng)“百度文心一言和OpenAI差距可能在兩個(gè)月左右”,但王小川直言“這可能是平行宇宙里的李彥宏說(shuō)的,不是我們這個(gè)世界里的”。至于彼時(shí)百度文心一言和ChatGPT的差距究竟有多大,當(dāng)前文心一言的使用體驗(yàn)有沒(méi)有追上GPT-4o,其實(shí)明眼人都能看得出來(lái)。
再加上一直以來(lái)重發(fā)布、輕落地,重宣傳、輕體驗(yàn)的大模型應(yīng)用功能迭代,很難讓人不懷疑,以技術(shù)出身的Robin,是真的跟隨百度進(jìn)入了AI時(shí)代,還是在潛移默化之間被筑起的信息繭房慢慢同化,成為了那些產(chǎn)品開(kāi)發(fā)人員、業(yè)務(wù)人員乃至公關(guān)人員的“發(fā)聲筒”了?
參考資料:
《李彥宏是不是被騙了?》,數(shù)字進(jìn)化島;
《大模型「幻覺(jué)」,看這一篇就夠了 | 哈工大華為出品》,量子位;
《(全文)李彥宏最新演講:文心大模型每天調(diào)用量達(dá)15億》,數(shù)據(jù)觀;
《李彥宏宣布:百度iRAG技術(shù)讓AI生成圖片更逼真,大模型幻覺(jué)問(wèn)題已解》,小熊財(cái)經(jīng);
作者:楊啟隆
編輯:丁力
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...