【原創】AIx5G引發”核“聚變,超異構給嵌入式玩家帶來新機遇

winniewei 提交于 周三, 06/05/2019
【原創】AIx5G引發”核“聚變,超異構給嵌入式玩家帶來新機遇

作者:張國斌

英特爾不愧為半導體帶頭大哥,它在人工智能領域的探索遠超其他公司,現在,嵌入式領域的玩家可以跟著英特爾一起掘金人工智能大市場了!

在近日召開的2019第三屆全球人工智能大會暨展覽會上,英特爾中國研究院院長宋繼強博士發表了《融合聚變,AI×5G的超異構時代 》主題演講,AI×5G(不是+哦)和超異構都是英特爾今年針對人工智能領域提出的新概念,宋繼強博士在演講中分析了人工智能技術的發展和與5G融合的趨勢,指出超異構計算是應對未來人工智能技術需求的最佳解決方案,英特爾愿意攜手業界一起開拓5G時代人工智能應用的新篇章。

1

英特爾中國研究院院長宋繼強博士

為什么是AI乘5G 而不是AI+5G?

在會后宋博士接受媒體采訪時回到我提出的如何理解AI和5G是×而不是+,+的提法時,他指出乘法就是一個概念,就是不是簡單的相加或者是線性增加。如果我提“AI+”或者是“5G+”,就意味著在原始的能力上只是加了這個東西而已,可能最多的只能提升了一些效能,或者是原來沒有接入的,通過5G接入了。但AI和5G的結合,通過5G的實時、低時延、高帶寬特點,實際把原來設備本身可用的資源擴展到更大范疇。例如如果我們可在10毫秒之內調用到網絡上計算或存儲資源的話,實際上本地可以有更大的計算能力、更強的存儲,或者是針對處理某些特定應用,就可以做更多的事情。所以我這個“×”是從效果上來講,激發大家想象,未來都進入到5G網絡可以有更高級的數據信息可以獲取。

2

十字路口的車輛(圖片來自國家地理雜志)

他以十字路口的交通指示管理來說明AI乘5G的效應。“大家都熟悉交通路口,交通路口上有一圈攝像頭。這些攝像頭各自把自己的視頻數據上云,在云端把這些視頻數據匯集起來就是簡單的“+”,這只是把攝像頭設備加了一個網絡,把數據傳到“云端”去做處理。那什么是“×”?假如利用了交通路口的邊緣計算能力,把N個攝像頭的數據(例如每個方向兩個,一圈有八個)通過AI算法、視頻融合、三維重新建模的方法,這樣可以對整個十字路口做了一個虛擬化建模,且是實時的。所以車一旦開動,實際上各個方向信息都知道了,因此可以有了這樣一個系統,可以給各個方向來的車進行提示:什么方向有車會來。即便車的視線被擋著司機也可以知道什么地方有潛在的碰撞風險,這就是“×”了,把這些數據更好地利用起來,利用其邊緣的相關性,利用AI,然后反饋到本地設備上,這不是+ 是×。”

人工智能發展進程

4

計算技術的演進

宋博士指出過去50年計算在不斷演進,從60年代摩爾定律開始發揮作用,一直到現在,摩爾定律仍然在發揮作用。人類先是把計算和存儲大幅度提高讓用戶用很便宜的價錢就可以使用到好的計算機,接下來無線通信技術發展讓設備之間可以更便宜的互連,人們可以帶著很便宜的移動設備實現計算到現在演進到人工智能。

2008年以后,智能手機,智能平板的普及以及傳感器的成熟和智能算法的出現,導致可以實現基于場景的,基于位置的,基于人的服務,所以智能能力開始越來越便宜,伴隨著計算能力的提升和芯片越來越小,人工智能不斷發展。

另一方面,在AI技術發展之前,我們處理的數據都是結構化的數據,不需要人的智能融合,例如大部分處理的是由人工產生的數據,如PPT、文檔,設備產生的數據等,人在其中處于操作員,設計者的角色。

不過新一波的智能技術發展,讓我們可以更多的處理自然界產生的數據。以前對數據的操作是采集、編輯、壓縮、存儲、傳輸。有了人工智能技術以后,我們可以識別、理解這些數據了,這是質的變化,設備能力可以大幅提升。

4

AI計算發展的三個階段

從2012年開始,人工智能技術進如爆發期,ImageNet讓我們看到有些算法超越人的能力,如物體識別,人臉識別,語音識別等,這表明AI算法開始有潛力替代人的一些工作了。到了2016年通過AlphaGo,通過其他產業界,大公司的加持,AI產業化開始地落地了,開始實用化了,AI可以在一些實際場合以可控的成本、可控的時間代價、可控的功耗做事。

到2020年,AI在不同領域里規模化的工作效率提升出來,”回望過去50年,只有當一些技術結合實際的產業達到經濟規律允許它規模化擴展時,技術才能真正的得以放大。AI技術需要結合很多產業去做規模化商用。“他指出,”用比喻來說,2008年是AI第一個階段,像一個小學生,告訴大家,這個孩子是有能力的。2016年AI第二階段,中學畢業,它要告訴大家,我能把一些事情做好。2020年以后是AI第三個階段,就是大學階段,開始分科,開始專門訓練,開始畢業,正兒八經的做事。這又牽扯到另外一個時間線,就是5G,明年正式商用,5G和AI會給我們帶來顛覆性的改變。之前是用4G,4G其實并不好支持我們大量的設備都去用AI。“

5

現在多尺度云端融合智能

從智能音箱到智能駕駛到智慧城市,其實是多尺度云端融合智能化應用,有的智能在端側處理,有的則需要在云端處理如圖像識別語音識別等。宋博士認為現在云和終端的結合還是比較初步和直接的,計算與信息共享,計算和存儲資源分散在云和終端兩塊。而5G來了后,利用它高帶寬,低延遲特點,可以認為整個端到云,都有無限的資源可以用。

6

這樣催生出兩種模式,一是邊緣計算,可以把計算和存儲能力往前推,推到接入網,不用放在云端(未來基站機房會有大量計算服務器),二是利用云端監控智能設備運行情況,提供運行支持或做事后分析。

如果有足夠的資源和能力,還可以做預先模擬和規劃(類似前面的十字路口的例子)、做超實時的預測---就是在真實世界有一套系統運行,在虛擬世界里可能有一套或者多套系統在運行。它就是平行計算,這也是一個嶄新計算范式的改變(注:這也叫數字孿生技術在《IoT World 2019十大亮眼技術!》有介紹)。

7

未來很多設備都會智能化,聯網化,會產生非常多的數據,例如一輛自動駕駛車輛會有攝像頭、激光雷達、超聲波雷達等,它一天可以產生4TB數據,智能工廠一天可以產生一個PB的數據(PB是TB一千倍)。如此海量的數據都傳到云上做處理也現實也沒有必要,有些數據有實時性本地性的要求,所以在合適的地方處理是最重要的而不是都扔到數據中心云端去。邊緣計算是為了能夠更好的解決數據處理的實時性和有效性問題。

宋博士認為人工智能現在解決了感知層的認知,未來還要有理解能和決策能力,以無人車和無人機為例,不僅要看到事物還要理解事物不難過要做決策,這才有更大的價值。

決策靠的更多是靠知識,因為小的局部場景信息量是有限的,所以它要代入更多的信息甚至廣域的知識。

8

宋博士認為在未來社會工作場景中,前面的智能設備是在做數據的采集,它獲得小數據和片面數據,要依據這個數據做實時分析,做決策處理,而云端通大數據則是做常識積累,做決策支撐。這就涉及到人類知識的理解。

9

全部的人類知識可以分成兩大塊,一是穩定知識,一個人從小受教育逐漸地擴展知識面,很多擴展的是穩定知識這一塊,還有上大學的學習,屬于通用知識,也是穩定知識范圍,這些知識不太會變,會變是動態知識,假設機器人在家里服務,要建立家里環境的知識,了解這幾個不同用戶,這都是個性化知識。另外,群體性知識也屬于動態知識,例如今日頭條、抖音基于對人群的畫像給用戶推薦產品。可以把人分成老年人、10后、00后等這是群體性知識,這兩類知識,穩定知識需要從頂向下構建,群體知識和個性化知識需要從下到上構建,逐步地需要從0開始構建。把這兩塊知識利用起來,一定要靠終端構建動態知識,在云端把知識做更好的更新,還要發給終端,還要在邊緣去平衡實效性、本地性、安全性等。

1

從知識層面來理解,就會得到一個概念性結構,也就是在終端這一側是智能系統,邊緣這一層要有實時處理能力和定向服務能力。邊緣服務器的最大價值在于它是根據具體區域需求來定制。例如某個區域需要做很好的語音交互服務,這個區域說的是廣東化,就要把廣東話的話自然語音理解,語音ASR、TTS放進去,這是定制的。同樣智能交通,智能交通也是區域化的,在上海放上海相關的東西,不會放北京的東西。這些都非常明確的要邊緣服務器。

1

當然,云端大腦上仍非常重要,但要提高整個系統能力,不能光靠邊緣服務器,例如自動駕駛,邊緣服務器一個月也搜集不了太多的異常情況,這時需要靠全國甚至全世界的異常情況搜集下來匯總分析,重新訓練模型,把整個系統能力,每隔幾天就能提高一層,這就是云端的持續決策能力帶來的好處,這就是一個可擴展的云端超融合架構,云還是有大云,但是可以放很小朵的邊緣服務器,像一些二級腦在各個位置支持各種服務。另外要考慮安全,把這些結合起來就是云、邊、端融合的方案。

?AI×5G需要什么樣的架構支持?

從前面的分析中可以看到,到2020年,5G商用成熟, 而AI也發展到規模商用階段,AI與5G是非常重要的歷史性交匯,因為這兩個技術都是非常重要的變革因素,而它們恰恰在2019和2020年都達到了可用性,在部署的時候,我們可以充分利用這兩個變革性技術乘法效應,促進整個產業的升級。

2

到2020年會有500億智能設備接入互聯網,有很多的數據會產生。這些數據不是人互相通信的數據,不是簡單的社交媒體和人產生的數據。在做網絡優化的時候,已經沒法靠人做一些啟發式規則,經驗去做優化,很多時候要靠數據訓練對網絡做優化了。

這就催生了計算的多元化需求,因為很多種數據不再是我們人類產生的結構化數據,它有不同的計算加速的需求,由于部署在終端、邊緣或者云上,它需要計算加速的性能、功耗、實時性、成本、芯片尺寸大小都有不同的要求,這完全是多樣化的需求,我們如何滿足呢?

3

只有通過異構計算!傳統異構計算有兩種實現方法,一種是一體化SoC。把多種計算能力的加速內核放到一個芯片里,這個芯片是在同一個工藝節點上制造出來,例如14nm、22nm等,它是單芯片形式,集成了不同的計算模塊,如CPU、GPU、通信模塊,視頻處理的加速器等,

另外一種是直接把不同的芯片通過板級連接起來,如通過PCI-E,把CPU板和專門的AI加速板連在一起,這樣也可以做成一個異構計算。現在英特爾的數據中心里用的是這種方式。

這兩種方式有什么有什么優勢和劣勢呢?請看下圖

4

一體化SoC它在數據帶寬延遲上非常好,因為集成在一個芯片,體積最小,能效比最大,但有一點,上市時間較長,一般需要18個月,顯然不能適應越來越快的嵌入式開發節奏。另外就是整個系統的實時開發難度比較大,因為把不同的加速模塊都要放在一個工藝節點重新設計驗證,很多的事情重做以前的事情,而且不一定完全對。

第二種異構模式--分體式板卡,可以很快把事做起來,而且體積比較大,功耗比較大,所以傳統異構計算并不能滿足現在計算的要求。

5

所以英特爾提出了超異構計算的策略,就是揚長避短,一是跟板級設計一樣,有多功能多架構芯片,每個芯片處理不同的運算負載,進行加速,二是利用先進工藝技術把它們封裝在一個芯片里,這不是在板級實現的。

在封裝層設計先進的技術,把帶寬做大,把功耗降低,體積縮小,這是封裝集成技術。

三是針對這樣復雜的超異構模式,對于軟件開發人員而言不能讓他們的設計更困難,要更簡單一些,所以對于超異構來講,要統一的異構計算軟件也是非常重要的。

6

對于不同工藝節點的處理器、GPU或者其他互聯芯片,可以通過高級的2.5D或者3D封裝技術來整合,英特爾是業內唯一可以將邏輯芯片邏輯芯片堆疊在一起的公司,如英特爾最新的低功耗處理器LAKEFIELD,它整合了小CPU、大CPU,等它是混合CPU的架構,有處理不同工作負載能力。

78

對于AI計算,由于場景很多,因此有多種不同的運算負載,很難用一個計算單元有效地把它支撐起來,這就需要分而置之,合而用之。宋博士表示對于這樣的超異構計算,未來還可以整合第三方的單元進來,例如一些其他架構的計算模塊,而且英特爾也愿意提供封裝的服務!這意味著嵌入式領域的玩家可以享受英特爾的超異構計算的好處,可以跟半導體龍頭一起掘金人工智能市場。

他舉例說如果一個客戶想開發一個同時做路徑規劃,并能檢測人跟隨用戶并拍照的無人機芯片,主要需要視覺檢測和Slam建模,而Slam建模可能需要通用計算,視覺檢測需要專門的視覺加速芯片。對于英特爾來講,實際上就可以整合一個小處理器加上一個VPU封裝在一起,可以很快實現。

超異構計算的開發

對于這樣的超異構計算模塊,很多人一定認為其軟件開發會復雜,因為其中包含CPU 也會有其他GPU ,NPU以及一些FPGA等,但實際上,這個超異構開發非常簡單!

9

”目前常見的幾個架構,CPU有自己的開發堆棧,GPU也有自己的開發堆棧。AI專用芯片也有自己的開發堆棧,FPGA也有自己的開發堆棧。如果做異構計算,想象一下,讓一個程序員對這四種開發堆棧都熟悉是不能的。”宋博士指出,“但我們又想把這些能力給到開發者,讓他們能自由使用。辦法就是提供一個API,從軟件開發人員來看,只要在功能層級調用這些能力就好,不用具體指定用哪種芯片架構加速。”

1

至于什么樣的工作負載用什么樣的架構加速,這屬于領域知識,專家就可以在優化中間件這一層做事,把一個API映射到不同的加速器上,下面幾層是專家的事,上面則是應用開發者的事。這是一個非常合理的去釋放超異構威力的方式。

1

他表示英特爾的one API就是這樣一個思路,它的中間件支持各種神經網絡框架例如Tensorflow,Caffe,微軟CNTK等等,也支持各種深度學習模式,如視覺類的,金融類的等等,開發者可以直接調用這些模型,它就類似一個大的編譯器,上面是過程的接口,中間層翻譯成“公共”的白色,底下可以映射到后端。后端就是底層的硬件,系統可以自動映射到最優計算支持上,用最專業的計算模塊做這嘴專業的事情。

1

所以,要讓AIx5G發揮威力,必須在處理器架構、封裝、工藝、軟件和生態方面協同發展,英特爾已經做好了儲備,宋博士表示英特爾的超異構計算愿景是提供多樣化的標量、矢量、矩陣和空間架構組合,以先進制程技術進行設計,由顛覆性內存層級結構提供支持,通過先進封裝集成到系統中,使用光速互連進行超大規模部署,提供統一的軟件開發接口以及安全功能!

AIx5G,激發融合聚變,也帶來新的機遇!

注:本文為原創文章,轉載請注明作者及來源

相關文章

Digi-Key