2024年1月9日-11日，“2024創(chuàng)投大會(huì)”在西安舉辦。本屆大會(huì)以“向?qū)?middot; 向新 · 向強(qiáng)”為主題，邀請(qǐng)?jiān)菏繉＜�、投資機(jī)構(gòu)、產(chǎn)業(yè)企業(yè)從宏觀趨勢(shì)、產(chǎn)業(yè)投資、企業(yè)發(fā)展等多個(gè)角度呈現(xiàn)一場(chǎng)思想饕餮盛宴。

　　會(huì)上，中國(guó)工程院外籍院士，德國(guó)工程院院士，德國(guó)漢堡科學(xué)院院士 張建偉發(fā)表主題演講《通向魯棒自主系統(tǒng)的多模態(tài)AI之路》

　　以下為演講實(shí)錄，

　　經(jīng)投資界（ID:pedaily2012）編輯：

　　非常高興從德國(guó)漢堡來(lái)到古都西安，從絲綢之路的終點(diǎn)回到絲綢之路的起點(diǎn)，在新年伊始之際探討未來(lái)，感到非常興奮。

　　我報(bào)告的題目是魯棒自主系統(tǒng)，近期我們實(shí)現(xiàn)的大的產(chǎn)業(yè)就是智能駕駛，未來(lái)在中長(zhǎng)期的產(chǎn)業(yè)，我講是未來(lái)的個(gè)人服務(wù)，機(jī)器人是他們的魯棒自主性，他們的可靠性，他們?cè)陂L(zhǎng)期負(fù)責(zé)的，非結(jié)構(gòu)下環(huán)境的自主性，是我們未來(lái)用多模態(tài)人工智能解決的目標(biāo)之一。

　　現(xiàn)在，國(guó)際上科學(xué)家和企業(yè)家的融合也越來(lái)越深，Nurture發(fā)了一篇說(shuō)科學(xué)家正在把科學(xué)的成果向工業(yè)化轉(zhuǎn)移，全世界把這種基礎(chǔ)的研究和我們未來(lái)的產(chǎn)業(yè)進(jìn)行深度的結(jié)合，也是一個(gè)國(guó)際的趨勢(shì)。

　　跟大家分享一下物聯(lián)網(wǎng)時(shí)代的機(jī)器人具身智能的挑戰(zhàn)，剛才克強(qiáng)院士也提到了工業(yè)4.0，在十年前德國(guó)的國(guó)家工程院提出了工業(yè)4.0的概念，就是希望用我們未來(lái)的人工智能網(wǎng)絡(luò)、云的技術(shù)，提升傳統(tǒng)的制造業(yè)，今天在全世界各個(gè)角落和學(xué)術(shù)界，和工業(yè)界，工業(yè)4.0已經(jīng)起到了一定的影響。

　　在今天創(chuàng)新創(chuàng)業(yè)是處在一個(gè)IOT重要的物聯(lián)網(wǎng)時(shí)代，在我們經(jīng)歷了服務(wù)和數(shù)據(jù)物聯(lián)網(wǎng)給我們前20年帶來(lái)的產(chǎn)業(yè)巨大發(fā)展之后，未來(lái)的基于物聯(lián)網(wǎng)的這種硬科技，是我們投資和創(chuàng)業(yè)的重點(diǎn)。

　　未來(lái)的高新技術(shù)可以產(chǎn)生這種融合性的，顛覆性創(chuàng)新，但是它需要我們現(xiàn)在在人工智能、IOT、機(jī)器人、材料、能源、VR、AR，甚至通訊、腦科學(xué)這一方面的深度的融合。在這一方面，我想西安都具有著非常好的科研和創(chuàng)業(yè)的基礎(chǔ)。

　　應(yīng)用的垂直領(lǐng)域也是我們?yōu)榧夹g(shù)驅(qū)動(dòng)提供價(jià)值重要的實(shí)驗(yàn)場(chǎng)所，從智能制造的工業(yè)4.0到未來(lái)的出行，未來(lái)的健康、農(nóng)業(yè)、家庭服務(wù)、教育等，都提供了未來(lái)人工智能、物聯(lián)網(wǎng)和機(jī)器人重要的應(yīng)用場(chǎng)景。

　　從傳統(tǒng)的現(xiàn)在使用的手機(jī)、可穿戴，為視覺和聽覺進(jìn)行連接人通訊的工具，到未來(lái)的智能汽車，加上移動(dòng)的功能。中長(zhǎng)期我們把操作的功能，把智能的功能進(jìn)行新的提高，我們說(shuō)從信息通訊到現(xiàn)在的ChatGPT非具身的智能，到未來(lái)的智能汽車，智能機(jī)器人的具身智能，為我們提供了非常廣泛的應(yīng)用場(chǎng)景，從信息世界的交互，實(shí)現(xiàn)物理世界的交互。

　　在現(xiàn)在的手機(jī)之后，我們現(xiàn)在正在討論代替手機(jī)的下一個(gè)形態(tài)是演進(jìn)，還是一種移動(dòng)的設(shè)備，最終的終極形態(tài)是個(gè)性化，個(gè)人的機(jī)器人。在ICT通訊和網(wǎng)絡(luò)技術(shù)之后，下一個(gè)是智能化給我們帶來(lái)人口紅利，流量紅利過(guò)去之后真正的智能紅利和機(jī)器人紅利到來(lái)的時(shí)刻，在這個(gè)時(shí)刻我們可以在投資界發(fā)現(xiàn)非常多令人興奮的投資標(biāo)的，包括智能機(jī)器人、AIGC、WEB3.0、智能家居和智能存儲(chǔ)等。

　　在疫情期間，我們也在西安組織了世界最大的智能機(jī)器人和自動(dòng)化的旗艦會(huì)議，遺憾的是因?yàn)橐咔�，只是在西安進(jìn)行了小范圍的中國(guó)參會(huì)者的形式。在機(jī)器人界，我們?cè)谘鐣?huì)之前是展現(xiàn)了各種各樣的機(jī)器人的場(chǎng)景，從移動(dòng)的車到未來(lái)移動(dòng)的飛行機(jī)器人，水下移動(dòng)的機(jī)器人。20年前我讓德國(guó)的博士生畫的幾幅漫畫，讓它展現(xiàn)出20年后機(jī)器人的場(chǎng)景，今天我們通過(guò)歐盟一些基礎(chǔ)研發(fā)項(xiàng)目，我們已經(jīng)做出了部分的移動(dòng)操作的漢堡圖書館，進(jìn)行物理服務(wù)的場(chǎng)景。

　　通過(guò)現(xiàn)在的這種開源軟件、硬件，我們現(xiàn)在可以達(dá)到和歐美科研整個(gè)的同步，機(jī)器人的操作系統(tǒng)也是我前十年通過(guò)一些我們的論文，通過(guò)我們對(duì)未來(lái)的這種開源操作系統(tǒng)的貢獻(xiàn)，也是協(xié)調(diào)全球的研發(fā)能力，來(lái)共享未來(lái)的機(jī)器人落地，智能系統(tǒng)落地機(jī)器人這些新的應(yīng)用。

　　如何實(shí)現(xiàn)0到1，1到10，10到100整個(gè)全鏈條，技術(shù)成熟度從整個(gè)智能應(yīng)用，我用一張圖來(lái)部分表達(dá)我們?cè)谶@一方面的一些實(shí)踐。從基礎(chǔ)研究的技術(shù)成熟度到3，到4的研究，我們通過(guò)國(guó)家的縱向項(xiàng)目來(lái)進(jìn)行包括跨模態(tài)學(xué)習(xí)，包括深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的研究，在中間這一層技術(shù)成熟度從5到8的階段，我們用一些共享的，包括機(jī)器人操作系統(tǒng)的模塊來(lái)打造這些關(guān)鍵的技術(shù)模塊，通過(guò)我們的投資，通過(guò)我們的孵化，在上層進(jìn)行傳統(tǒng)行業(yè)的提質(zhì)增效和一些創(chuàng)新創(chuàng)業(yè)新的行為，包括我們未來(lái)的人才培養(yǎng)等，使得我們和傳統(tǒng)行業(yè)的這種垂直的結(jié)合，在制造、出行、健康方面，創(chuàng)造新的價(jià)值，孵化新的公司。

　　在這一方面，我想我們?cè)诖髮W(xué)進(jìn)行的一些前沿的研究，20年前我做助理教授的時(shí)候，我就做了一款雙臂協(xié)作的裝配機(jī)器人，當(dāng)時(shí)是全世界第一個(gè)用智能的形式，多模態(tài)交互的形式做玩具飛機(jī)的裝配，當(dāng)時(shí)是一個(gè)無(wú)人區(qū)，今天我們?cè)谧詣?dòng)化方面，從單臂的裝配到未來(lái)的雙臂的這種場(chǎng)景，已經(jīng)變成了一個(gè)重要的領(lǐng)域。

　　我們也把協(xié)作機(jī)器人現(xiàn)在變成了一種創(chuàng)業(yè)的重要基地，機(jī)器人也是這一方面的獨(dú)角獸，在力控臂方面在全世界已經(jīng)做出了最好的性能，現(xiàn)在在富士康的蘋果工廠有上千的應(yīng)用，未來(lái)會(huì)有更多新的應(yīng)用�，F(xiàn)在中國(guó)自動(dòng)化的工廠程度已經(jīng)提高了非常多，但是我們現(xiàn)在還能看到很多工廠還雇幾千，幾萬(wàn)人，甚至在鄭州的工廠有幾十萬(wàn)人，70%的工作都是用手的精巧在操作，現(xiàn)在還不能自動(dòng)化操作，我們?cè)趶氖轮�用所謂的多模態(tài)機(jī)器人，加上視覺、聽覺和觸覺，來(lái)進(jìn)行機(jī)器人的靈巧裝配，把這一部分的自動(dòng)化的難點(diǎn)領(lǐng)域，在進(jìn)行新的替代，用新的AI多模態(tài)的技術(shù)。

　　也是在20年前，我們就做出了這一款移動(dòng)操作的實(shí)驗(yàn)室自動(dòng)化機(jī)器人，這一款機(jī)器人在拜耳制藥廠的實(shí)驗(yàn)室今天還在使用，我們把視聽、聽覺和觸覺都裝在機(jī)器人的身上，在機(jī)器人實(shí)驗(yàn)室的場(chǎng)景來(lái)進(jìn)行試管的移動(dòng)操作。未來(lái)在工廠的自動(dòng)化之后，制藥的自動(dòng)化和整個(gè)生物系統(tǒng)的自動(dòng)化，現(xiàn)在對(duì)機(jī)器人的要求也是提得越來(lái)越高，越來(lái)越深，未來(lái)對(duì)機(jī)器人的系統(tǒng)大有應(yīng)用之地。

　　服務(wù)家庭的機(jī)器人，是我們每個(gè)人都希望要的產(chǎn)品，我們能不能享用未來(lái)家庭服務(wù)的機(jī)器人，來(lái)照顧我們的父母，未來(lái)照顧我們自己，使得我們獨(dú)立的有尊嚴(yán)的生活，我們?cè)跉W盟的項(xiàng)目支持下，也做出了這一款室內(nèi)室外聯(lián)合的這種服務(wù)的機(jī)器人，為助殘的場(chǎng)景做一些基礎(chǔ)實(shí)驗(yàn)。我們?cè)诙嗄�態(tài)的情況下，在視覺和聽覺的傳感和處理都比較發(fā)達(dá)的情況下，我們現(xiàn)在研究各種各樣的柔性皮膚的傳感器，包括可伸拉的穿戴傳感器，把具身智能從視覺、聽覺到觸覺的模態(tài)整個(gè)打通，來(lái)進(jìn)行產(chǎn)業(yè)化。

　　在3D的相機(jī)方面，我15年前寫的結(jié)構(gòu)按光的這些論文，現(xiàn)在已經(jīng)被公司們做成公司們做成創(chuàng)業(yè)的一個(gè)非常好的點(diǎn)，Mind作為另外一家智能機(jī)器人的獨(dú)角獸，現(xiàn)在是3D點(diǎn)云相機(jī)國(guó)際上的領(lǐng)軍企業(yè)，已經(jīng)在30多個(gè)國(guó)家得到銷售，在智能物流和加工方面已經(jīng)正在起到非常重要的3D感知的作用。

　　未來(lái)的制造和全流程的工業(yè)4.0這種全生命周期的智能化，也是一個(gè)非常重要的方面。未來(lái)的智能駕駛現(xiàn)在對(duì)能源和電池的處理方面，也有新的需求。可能這兩年已經(jīng)是我們第一批動(dòng)力電池開始報(bào)廢的時(shí)候，現(xiàn)在歐盟和美國(guó)都對(duì)新能源汽車的本地銷售，提出了要本地化處理動(dòng)力電池和汽車的要求，這些方面自動(dòng)化和機(jī)器人的需求，我們現(xiàn)在正在布局，把未來(lái)電動(dòng)汽車的拆解和能源電池的拆解，來(lái)進(jìn)行無(wú)人化的自動(dòng)化方案。

　　在自主系統(tǒng)的核心技術(shù)方面，克強(qiáng)老師講了從單個(gè)車到網(wǎng)聯(lián)車，到云和車的服務(wù)方面，非常好的一個(gè)總攬。在單車的服務(wù)方面，我們把人工智能的多傳感的技術(shù)進(jìn)行融合，也是大大提高它們?cè)谝归g，在雪地，在極端天氣下整個(gè)的魯棒性。包括在夜間的識(shí)別、規(guī)劃和感知的例子。

　　最近斯坦福大學(xué)又放出了一些失敗的視頻，我們物理世界的具身智能實(shí)際上面臨著非常高的挑戰(zhàn)，在感知方面，在交互方面，在操作方面，對(duì)環(huán)境的價(jià)值和操作都有著極高的要求，現(xiàn)在個(gè)人機(jī)器人還沒有達(dá)到現(xiàn)在汽車整個(gè)的產(chǎn)量，我們看到的只是家庭簡(jiǎn)單的吸塵機(jī)器人，我們只是看到了小的物流配送，量還非常小。未來(lái)包括城市的全自動(dòng)的駕駛，包括工廠帶有手的多模態(tài)自動(dòng)化，個(gè)人助力和家庭服務(wù)機(jī)器人，建筑機(jī)器人等，都給我們未來(lái)的20、30年都提出了重大的挑戰(zhàn)。

　　人工智能最近給我們帶來(lái)了新的賦能機(jī)會(huì)，從四個(gè)方面再回顧一下，給我們帶來(lái)賦能的機(jī)會(huì)。第一個(gè)是算力的增長(zhǎng)，這種指數(shù)型算力的增長(zhǎng)，是一個(gè)非常獨(dú)特的現(xiàn)象，和我30多年前在清華學(xué)計(jì)算機(jī)相比，計(jì)算能力翻了不是30倍，而是上百萬(wàn)倍，再放眼十年，我們還會(huì)獲得上百倍的計(jì)算能力。在數(shù)據(jù)方面，我們也有足夠多的數(shù)據(jù)和燃料，從單模態(tài)到多模態(tài)的數(shù)據(jù)。從算法方面，我們從處理視覺這種深層的CAN網(wǎng)絡(luò)，還有去年很火的處理語(yǔ)言的RNN算法，到處理具身智能的算法，現(xiàn)在可以說(shuō)日新月異，每天都有上百篇非常好的算法來(lái)給我們未來(lái)的人工智能技術(shù)賦能。

　　第四，現(xiàn)在機(jī)器人和人工智能學(xué)習(xí)，到了如何來(lái)學(xué)習(xí)，在虛擬的空間來(lái)進(jìn)行模擬。我們做出了世界第一個(gè)能夠正步走的最省電的行走機(jī)器人，把下身的形態(tài)和上身多年積累的靈巧操作的手，還有仿生的手融合在一起，我們正在打造未來(lái)真正的人形機(jī)器人。在多模態(tài)處理方面，在十年前在深度學(xué)習(xí)，在大模態(tài)和大模型都不火的時(shí)候，我們就已經(jīng)開始布局這一方面的基礎(chǔ)研究。我們申請(qǐng)到了中德之間最大的基礎(chǔ)研究項(xiàng)目，叫跨模態(tài)基礎(chǔ)研究項(xiàng)目，去年已經(jīng)進(jìn)入到了第八年，我們和腦科學(xué)，和心理學(xué)共同合作，來(lái)研究人的多模態(tài)信息的表達(dá)、存儲(chǔ)、整合和交互，來(lái)轉(zhuǎn)移到未來(lái)的包括自動(dòng)駕駛，包括人形機(jī)器人算法和系統(tǒng)。

　　從這種多模態(tài)的低層融合，到中層和晚期的信號(hào)級(jí)和語(yǔ)義級(jí)的融合，我們?cè)诖蛟煨碌乃惴�，用這種新的算法可以把一些不完全的感覺信息能夠自動(dòng)補(bǔ)缺。我們?cè)谀Ｐ秃驼麄�(gè)數(shù)據(jù)方面，我想未來(lái)也是給我們賦能的一個(gè)重要的基礎(chǔ)點(diǎn)�，F(xiàn)在不管是汽車的模型，還有人機(jī)交互的模型，還有整個(gè)世界的模型，我們做出的結(jié)果還非常少，所以我們現(xiàn)在需要有大量的數(shù)據(jù)端到端學(xué)習(xí)的補(bǔ)充，通過(guò)我們未來(lái)10、20、30年，甚至上百年這種技術(shù)的努力，我們通過(guò)具身智能，通過(guò)自動(dòng)駕駛車，通過(guò)機(jī)器人，通過(guò)自動(dòng)設(shè)備，讓這些大數(shù)據(jù)的模型來(lái)更好的支撐，更好的完善現(xiàn)在的物理模型，來(lái)進(jìn)行未來(lái)更好的模型進(jìn)化。

　　一個(gè)例子就是我的一個(gè)博士后最新做的一款子機(jī)器人，傳統(tǒng)需要多個(gè)相機(jī)，通過(guò)我們對(duì)人模型的建立，就可以非常方便的用兩個(gè)簡(jiǎn)單的相機(jī)，就做出了這一款個(gè)人的對(duì)運(yùn)動(dòng)的捕捉，我們現(xiàn)在也可以從網(wǎng)上任何人的數(shù)據(jù)，現(xiàn)在提出人的運(yùn)動(dòng)模型，把這些模型來(lái)轉(zhuǎn)移到人機(jī)交互上，轉(zhuǎn)移到未來(lái)的人形機(jī)器人的編程上。我們也把現(xiàn)在的模型增強(qiáng)學(xué)習(xí)深入的融合，我們現(xiàn)在做出了這一款拿到了基尼斯記錄的乒乓球機(jī)器人，可以個(gè)性化來(lái)進(jìn)行訓(xùn)練，來(lái)做運(yùn)動(dòng)處方的康復(fù)作用。

　　我們把人的多種知識(shí)的一小部分，已經(jīng)融入到服務(wù)機(jī)器人上，在人機(jī)交互的長(zhǎng)度方面，可以大大縮短人機(jī)交互需要的長(zhǎng)度，通過(guò)這種交互也是大大的減少機(jī)器人對(duì)世界理解的模型，和真正模型的誤差。

　　去年ChatGPT橫空出世，我在十年前就讓我的學(xué)生做了一幅圖，我說(shuō)十年后，我們會(huì)不會(huì)面臨一個(gè)機(jī)器人把全世界的書都讀進(jìn)去的一個(gè)場(chǎng)景，去年我們就看到了這個(gè)場(chǎng)景對(duì)圖形和文本方面的影響，當(dāng)然還不是通過(guò)機(jī)器人具身的形式，已經(jīng)通過(guò)非具身的形式，已經(jīng)給我們?cè)谶@種白領(lǐng)工作的部分替代方面，已經(jīng)起到了部分的影響。但是在未來(lái)這種具身智能，包括機(jī)器人的多模態(tài)的具身智能方面，未來(lái)我想是下一個(gè)重要的包括投資和研發(fā)，和未來(lái)真正的能夠創(chuàng)造個(gè)性化機(jī)器的一個(gè)重要的節(jié)點(diǎn)。

　　上個(gè)星期在自媒體了起到了一個(gè)小小的轟動(dòng)，通過(guò)遙控操作各種各樣的服務(wù)機(jī)器人，在前十年和二十年都在不斷的進(jìn)行，現(xiàn)在通過(guò)大模型，我們可以通過(guò)這種遙控操作來(lái)進(jìn)行機(jī)器人未來(lái)的編程。這個(gè)視頻里面還有很多都是遙控操作的場(chǎng)景，還不是自主的場(chǎng)景，而且魯棒性還非常差。所以大家不要認(rèn)為看見這個(gè)視頻以后，就認(rèn)為現(xiàn)在的個(gè)人化機(jī)器人已經(jīng)達(dá)到產(chǎn)品化的程度了。從未來(lái)的多模態(tài)的具模型，提高可信度和穩(wěn)定性，擺脫高計(jì)算的成本，可解釋，把它落到千行百業(yè)，是我們下一個(gè)創(chuàng)新創(chuàng)業(yè)的重要方向。

　　今天我們也看到了人才是創(chuàng)新創(chuàng)業(yè)的一個(gè)重要的因素，如何在現(xiàn)在的人工智能時(shí)代對(duì)工程師的培養(yǎng)，進(jìn)行新的工科的嘗試，是我們現(xiàn)在關(guān)心的一個(gè)問(wèn)題。未來(lái)在人工智能的領(lǐng)域，我們要更加注重多模態(tài)的整合和以人為本的倫理需求的重視，還有重視真正對(duì)垂直領(lǐng)域的需求有影響的這種創(chuàng)新創(chuàng)業(yè)，對(duì)工程師的培育來(lái)講，我們要更加重視他們對(duì)多模態(tài)的理解能力，他們跨學(xué)科的能力，不管是人工智能的從業(yè)者，還是非人工智能的從業(yè)者，要理解AIGC，人工智能能干什么，不能干什么，包括未來(lái)的孩子要學(xué)會(huì)如何和人工智能共存，要培養(yǎng)對(duì)未來(lái)自然的解釋能力，我們的想象力，我們的好奇心，和發(fā)明更好的問(wèn)題。

　　我也希望未來(lái)德國(guó)和中國(guó)，和陜西，和西安，有著更多的互補(bǔ)結(jié)果，包括在德國(guó)的多樣性，小而美，興趣驅(qū)動(dòng)，洪堡大學(xué)的這種科研和教學(xué)深度融合的原理，和交叉研究的傳統(tǒng)，和中國(guó)在這一方面開放、快速、靈活、刻苦的頂層設(shè)計(jì)，工程師紅利和團(tuán)隊(duì)組織方面，能夠深入的互補(bǔ)和互相學(xué)習(xí)。

　　未來(lái)的人工智能和通信信息技術(shù)，和機(jī)器人，和未來(lái)真正的具身智能的結(jié)合，使得產(chǎn)學(xué)研能夠深入進(jìn)行國(guó)際合作，來(lái)培養(yǎng)有國(guó)際視野的跨學(xué)科的創(chuàng)新人才，來(lái)真正應(yīng)對(duì)全球的重大挑戰(zhàn)，交叉、創(chuàng)新和融合，來(lái)共創(chuàng)和諧社會(huì)，美好生活。我想今天在一起這個(gè)創(chuàng)投大會(huì)，一定在新年里面能夠取得新的成果，也希望和各位陜西的同事和朋友們進(jìn)行深入的合作。謝謝大家!