元宇宙，其核心是虛實融合，相互使能。從詞源來說，元宇宙的英文一詞MATEVERSE，是超越現實之意，未來的MATEVERSE，一個是我們既有的認知空間、情感空間，另一個是如何用現代的媒體的手段達到虛擬和真實世界空間的互動。這些互動包括信息檢索、教育、娛樂以及助老助殘等等。要實現這些虛實相融的互動，德國工程院院士張建偉先生認為，必須要有多模態的人機互動作為支撐。在近日在昆山舉行的元宇宙產業大會2023春季會的院士論壇上，張建偉院士向與會者分享了題為《賦能工業4.0的多模態元宇宙》的演講。

張建偉院士首先指出：目前人機的交互，只是包括信息、視覺和聲音以及圖像的交互，未來要把觸覺、味覺，包括腦信號都融合在一起。這是元宇宙的重要內容。最早的人機交互，只是一行行的這種單一頻率和屏幕的編程場景，其后是圖形界面，前些年的iPad，呈現自然的交互界面。但是未來的元宇宙，將要以多模態交互的方法，實現人機的交互。

張建偉院士進而比喻說，元宇宙有點類似愛麗絲進入魔幻世界，希望通過編程的方法創造和實現的一個魔幻世界，就像愛麗絲走進的一個場景。20年前，虛擬現實被提出來，在未來的15年中，人類能不能創造出這個新的元宇宙以及新的元宇宙產業奇跡，很大程度上取決于人機多模態交互的進步和成果。這也是在德國工程院提出工業4.0中的重要內容：要通過元宇宙創造一個learning space一個復合空間的概念。

張建偉院士認為，元宇宙包括人工智能、互聯網、機器人、AR\VR\5G通訊以及腦科學、材料新和新能源，元宇宙也將給充分賦能未來的出行，未來的醫療、農業、基礎設施檢修、娛樂、教育等等領域。那么，在元宇宙中為什么要強調多模態的人機交互？張建偉院士指出：因為元宇宙不只是要有簡單的螞蟻的四肢，要有靈魂，要有創意。

在闡釋了上述觀點后外，張建偉院士分享了多款已經在應用以及處于研發中的機器人：病毒實驗室機器人，在無人值守的情況下，自動在病毒的實驗室中進行病毒試管的臨床操作；農業機器人，農業缺少人工是一個巨大的痛點，農業機器人和元宇宙融合起來，可以進行農業數字化的建設；護理機器人，該機器人通過知識表達和虛擬的一些學習和真實的交互，實現真正的護理的服務；編程機器人，通過學習算法，它可以在這種空間里頭自動編出和查找各種各樣非常逼真的程序。五打乒乓球的機器人。可以較靈活地的揮拍打球等。張建偉院士強調，上述這些機器人，已經具有原宇宙的一些雛形。

張建偉院士強調，機器人的跨模態學習，研究人機交互中的自適應性和預測性，這是元宇宙核心技術。他進而分享說：在這些既有機器人的基礎上，現在，已經開始讓機器人來學習人類的手勢，可以運用到未來的精密裝配，同時還把我們的視覺、聽覺和觸覺，同時各種各樣的知識，全部融入到機器人的空間里。張建偉院士展示了一款敬老機器人，不只是給老人看一些視覺和聽覺的游戲，同時也要包括一些觸覺的游戲，幫助老人的全方位的康復。

張建偉院士在演講的最后總結說，在元宇宙的概念下，就是要讓這些多模態的機器人，不只是在我們正常的生活的空間中，而且還要在我們不能到達的空間，為我們的生活與生產助力。這也是元宇宙產業的作用之所在。