《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 周志華揭牌英特爾-南大聯合研究中心:探索DNN與GPU之外的「廣義深度學習」

周志華揭牌英特爾-南大聯合研究中心:探索DNN與GPU之外的「廣義深度學習」

2018-09-15

英特爾與南京大學聯合成立了一個「人工智能聯合研究中心」。9 月 12 日,英特爾中國研究院院長宋繼強與南京大學人工智能學院院長周志華在南京為這個名為「英特爾-南京大學人工智能 IPCC 中心」的機構揭了牌。

微信圖片_20180915210218.jpg


「我想通過和英特爾的合作,不僅會進一步推動我們在人工智能、機器學習算法方面的研究,同時也會進一步擴大這些研究對芯片硬件架構方面進一步發展的影響」,周志華表示,「此外,因為英特爾已經給各行各業的用戶提供了技術支持和服務,通過這次合作,也有可能進一步把我們的研究成果進一步推向產業化應用,提供更好的發展空間。」


周志華與宋繼強曾經是南京大學計算機科學與技術系的九年同窗,如今這兩位昔日校友又分別以學界和業界的身份走到一起,一位帶來了對深度神經網絡結構的可替代方法的深入思考——「深度森林」,另一位帶來了以英特爾至強系列處理器為代表的「一片多核」硬件架構,目標是給更大、更需要可解釋性的任務提供不被數據規模局限的、更易訓練也更容易分析的算法解決方案。


深度神經網絡之外的深度學習


「很多外界的人有兩個有失偏頗的觀點。第一,會傾向于認為人工智能這一波進步完全是深度學習帶起來的,但是其實深度學習只是背后的一部分,比如 AlphaGo 背后更重要的是強化學習。第二,會傾向于認為深度學習就是深度神經網絡。我們的探索就是試圖告訴大家:深度學習不光是深度神經網絡,還有很多別的東西。」在揭牌儀式之后的采訪上,周志華對于深度森林工作的意義這樣解釋道。同時他也講述了自己對于深度學習的發展趨勢的判斷:「在未來,完全基于深度神經網絡的『狹義深度學習』的空間可能逐漸地變小,因為它有用的范圍我們逐漸都知道了。但是廣義的深度學習可能會長期存在下去,甚至變成以后的機器學習系統的一個基本配置。」

微信圖片_20180915210258.jpg


什么是「廣義深度學習」?周志華將其定義為「由更深更大的由子模型組成的解決復雜問題的模型」,這里的子模型可能是神經網絡,可能是隨機森林,也可能是其他的結構。


深度森林算法提出在去年年初,gcForest 也于去年六月開源。「『沒有免費午餐』定理嚴格證明了沒有一種模型適用于全部的數據類型。深度神經網絡在圖像、語音數據上特別有效,而我們的前期研究發現,森林結構在符號數據、離散數據混合建模上可能有特長。」正如 IJCAI 論文結尾所言,團隊認為這項新方法能夠為使用深度學習方法解決更多任務打開一扇深度神經網絡之外的大門。


在過去一年多的時間里,周志華團隊也一直在從不同角度「敲門」。在會后的采訪中,周志華分享了一些團隊進行過的嘗試的方向:一方面探索深度森林的能力邊界,比如探索深度森林是否具有傳統認為只有神經網絡才具有的的自編碼能力;一方面研究如何調動更多計算資源,更好利用其自身的高并行性的特點,做任務級的并行;最后在應用層面,他的團隊也和螞蟻金服等合作,檢驗深度森林算法在一個真實場景下的真實任務(從有大量離散特征的網上金融交易數據中進行非法套現檢測)里效果如何。如今三方面都有不錯的進展。


CPU 與其他硬件的深度學習加速之路


在應用層面上,沒有一套硬件解決方案能夠適用于所有的場景已經是一個共識了。宋繼強介紹了英特爾中國研究院的主要方向:面向未來無處不在的具備完整的外界感知、理解決策、以及行為能力的自主前端設備。這些設備對算力的需求可以說是五花八門。英特爾如今最新的至強處理器通過加強了單精度和可變精度浮點數的計算能力來對深度學習應用做了適應性的調整,但是可以進行的嘗試還有更多。


「同樣的人工智能算法在 100 個行業就有 100 種甚至更多的不同使用方式,每一種使用方式都可能有最好的軟硬件搭配的方法。在前端、云端、邊緣的計算對于計算資源的功耗、尺寸、實時性的要求都不一樣。英特爾給出的答案是『混搭』,用多個芯片內核通過高級的集成封裝技術進行 2D 和 3D 層面高速互聯,實現異構計算。」宋繼強介紹道。

微信圖片_20180915210326.jpg


應用層面不能在硬件上以「一」待勞,學術研究方向也是如此。


「深度森林和現在的深度神經網絡不一樣的一個地方在于,它不適合用 GPU 加速。」周志華坦言。


在「更大的模型會帶來更好效果」的廣義深度學習基本假設之下,想要將深度森林做得更大,就要進行一些不一樣的嘗試。


「一種是我們和在工業界的合作伙伴一起做分布式的計算系統,而另一種就是能否用其他硬件提高其可擴展性。經過大量的前期調研,我們認為英特爾的一片多核的結構極有可能對加速這樣的模型有特別的幫助。」


在軟件優化之外,如果能夠在算法研究的前期直接從指令集層面乃至芯片布局層面進行思考與優化,對于模型效果會有怎樣的幫助?能不能同時思考軟硬件問題以實現最佳性能與效率?這是世界上的各個研究機構都在思考的問題,周志華團隊也不例外。


「深度森林主要基于樹架構,每一個模型可以視為由多棵樹組成。第一,能不能進行任務級的并行,能不能同時做多棵樹?第二,樹結構很難在 GPU 上運行,因為它中間涉及到很多分支選擇,這讓它與一個片上多個 CPU 的結構非常契合。」


團隊已經進行了一些實驗,「我們利用一塊英特爾至強融核的芯片(KNL),對一個特殊版本的深度森林做出了 64 倍的加速。」


同時,他們也有很多更遠大的構想,比如投入到大規模任務中,利用硬件加速提供更好的性能和效率:「受限于現在的計算架構,一個特別大的任務進來,內存馬上耗光了,計算也算不下去了。但是實際從計算開銷來說,一個森林的開銷比一個神經網絡要小。神經網絡能通過 GPU 加速獲得性能的大幅提升,那深度森林能不能利用合適的芯片架構,獲得類似的幫助?」


即使現有的芯片架構都不能完美地解決這一問題,研究者也十分樂于為硬件開發者提供一些下一步設計上的啟發。


計算機人才的硬件能力與硬件研發的人才需求


在周志華看來,與英特爾的合作是讓南大計算機學科「更進一步」方式。「原來南京大學的機器學習與人工智能的團隊主要在理論和算法方面做一些工作,在應用技術方面的研究主要也集中在軟件方面。南京大學作為一所綜合性大學,『硬件』一直是我們的計算機科學所欠缺的一條腿。這一步光靠我們自己很難再邁進,我們希望能通過和英特爾的合作,在軟硬件結合方面往前走一步。」


LAMDA 實驗室的一些研究生已經從培養前期就介入了與英特爾的合作,「他們在進行工作的過程中獲得了很多英特爾資深工程師的指點,現在他們的底層硬件的理解和操作能力,要遠遠超過一般課程培養出來的學生。」


而能夠「往前一步」的,除了以博士生為主的研究人員,當然也包含本科生。成立于今年 3 月的南京大學人工智能學院剛剛迎來了第一批入學的本科生,之前公開的一年級課表里,引人注目的是數學課:既包含了原先只有數學系學生需要學的《數學分析》和《高等代數》,也包含了原先只有計算機系學生需要學的《離散數學》。而本次周志華還透露,之后的專業課里還有一門是關于「智能芯片」。


「我們希望能夠培養出人工智能領域高水平的人才,其中一條就是希望他們能夠兼備人工智能需要的軟硬件能力。我們在考慮引進一些與芯片、硬件設計相關的課程,其中有一門課就是關于智能芯片的,而英特爾的合作為我們這方面的人才培養提供了一個非常好的支持。」


這是南京大學的角度。而從英特爾的角度,硬件的設計需要考慮「未來的算法」,因此除了從學界獲得前沿的算法動向,培養了解硬件、能夠同時思考軟硬件問題的研究者也同樣重要。


宋繼強說「硬件的設計周期是很長的,我需要預先知道哪些運算模塊在未來會非常重要,通過聯合實驗室的方式,我們挑選能夠『看到未來』的領域開拓者,讓學界在英特爾的硬件上進行重要的工作負載嘗試,從他們的方向上去尋找未來的方向,為我們的硬件架構設計提供很好的指導。」


英特爾與南大的人工智能聯合研究中心的合作框架以三年為期,屆時南大人工智能學院的全學年學生均已入學,而英特爾對于如何調整芯片設計思路以使其更適應廣義深度學習時代的思路,也會更明朗地體現在通用 CPU、專用于神經網絡加速的 NNP、 為終端深度學習模型提供專門算力的 VPU 等等芯片中。屆時深度森林以及其他「廣義深度學習」方法的能力范圍,會隨著算力的升級有怎樣的提升呢?我們對此拭目以待。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲精品国精品久久99热| 日韩午夜视频在线观看| 国产在线视频欧美一区二区三区| 欧美激情视频一区二区三区在线播放| 亚洲一区三区视频在线观看 | 狠狠网亚洲精品| 国产精品成人久久久久| 久久综合色综合88| 久久国产精品72免费观看| 亚洲一区在线观看视频| 亚洲精品视频在线播放| 亚洲大片免费看| 亚洲尤物精选| 最新成人av在线| 在线欧美日韩精品| 国产真实久久| 国产亚洲网站| 国产乱理伦片在线观看夜一区| 欧美日韩一区三区四区| 久久中文久久字幕| 久久免费视频在线| 久久精品国产亚洲一区二区三区| 亚洲欧美国产精品专区久久| 中文有码久久| 一本色道久久综合狠狠躁篇的优点 | 99精品免费视频| 亚洲国产小视频| 在线看日韩av| 一区二区在线视频观看| 国产一区二区三区无遮挡| 国产乱肥老妇国产一区二| 国产精品爱啪在线线免费观看| 欧美日韩成人综合在线一区二区| 欧美电影在线观看完整版| 老司机精品视频网站| 久久综合九色综合欧美狠狠| 久久精品国产精品| 久久av老司机精品网站导航| 欧美一级精品大片| 欧美一级视频精品观看| 欧美一区二区高清在线观看| 午夜精品国产精品大乳美女| 午夜精品理论片| 亚洲欧美日韩一区二区三区在线观看| 这里只有精品丝袜| 亚洲亚洲精品三区日韩精品在线视频| 99亚洲精品| 亚洲一区二区网站| 欧美一级网站| 亚洲男人的天堂在线观看| 亚洲男人的天堂在线观看| 午夜精品一区二区在线观看| 亚洲欧美一区二区三区极速播放| 先锋影音国产精品| 久久久久国内| 狂野欧美一区| 欧美另类综合| 国产精品久久999| 国产日韩精品电影| 国语自产在线不卡| 在线精品国精品国产尤物884a| 亚洲第一免费播放区| 亚洲精一区二区三区| 亚洲图片欧美午夜| 久久都是精品| 99日韩精品| 亚洲欧美日韩精品久久久久| 久久精品99国产精品日本| 麻豆精品国产91久久久久久| 欧美精品一级| 国产精品久久国产精麻豆99网站| 国产亚洲欧美激情| 亚洲人体影院| 亚洲欧美日韩天堂一区二区| 亚洲高清视频在线| 国产精品99久久久久久久久| 亚洲一区二区三区视频播放| 久久国产精品亚洲va麻豆| 欧美大片在线观看一区二区| 欧美日韩在线一区| 国产一级精品aaaaa看| 亚洲国产高清aⅴ视频| 99综合电影在线视频| 亚洲女人小视频在线观看| 亚洲国产精品va| 亚洲男女自偷自拍| 亚洲区一区二| 亚洲欧美日韩视频二区| 欧美激情视频在线免费观看 欧美视频免费一| 国产精品美女久久久| 亚洲欧洲一区二区三区| 欧美在线视频观看免费网站| 亚洲欧美日韩精品久久奇米色影视| 欧美大片91| 国语自产在线不卡| 午夜精品网站| 亚洲综合成人婷婷小说| 欧美片第1页综合| 亚洲高清av在线| 久久精品123| 久久大综合网| 国产精品一区免费在线观看| 在线视频精品一区| 一本色道久久| 欧美经典一区二区三区| 精久久久久久| 久久精品一区四区| 久久国内精品视频| 国产美女诱惑一区二区| 亚洲特色特黄| 亚洲免费视频在线观看| 欧美午夜不卡视频| 亚洲每日在线| 一区二区三区精品视频在线观看| 牛牛影视久久网| 亚洲高清自拍| 亚洲精品一区二区三区蜜桃久 | 国产一区二区三区av电影| 性娇小13――14欧美| 香蕉亚洲视频| 国产美女在线精品免费观看| 亚洲一线二线三线久久久| 亚洲女与黑人做爰| 国产精品日韩欧美一区二区| 亚洲一区二区三区免费在线观看 | 亚洲在线免费| 小黄鸭精品密入口导航| 国产精品色婷婷| 亚洲欧美日韩天堂一区二区| 欧美在线观看网址综合| 国产精品一二三视频| 亚洲欧美日韩区| 久久精品免视看| 黑人一区二区| 亚洲激情在线观看| 欧美黑人国产人伦爽爽爽| 亚洲精品一区二区三| 99精品久久久| 国产精品成人一区二区三区吃奶| 中日韩美女免费视频网址在线观看| 亚洲香蕉网站| 国产精品欧美日韩| 欧美与黑人午夜性猛交久久久| 久久在线视频在线| 91久久亚洲| 亚洲自拍偷拍麻豆| 国产亚洲永久域名| 亚洲三级免费电影| 欧美午夜精品久久久| 亚洲综合二区| 久久综合伊人77777| 亚洲欧洲日产国码二区| 亚洲尤物视频在线| 国产午夜亚洲精品不卡| 亚洲人成绝费网站色www| 欧美日韩成人综合| 亚洲一区久久| 美女免费视频一区| 亚洲免费观看视频| 欧美一级片一区| 在线观看欧美亚洲| 亚洲视频福利| 国产在线播精品第三| 亚洲精品少妇网址| 国产精品草草| 欧美一级日韩一级| 欧美精品日韩精品| 午夜视频精品| 欧美精品一卡二卡| 午夜精品区一区二区三| 欧美电影在线观看| 亚洲综合首页| 欧美www在线| 中日韩美女免费视频网址在线观看 | 亚洲欧美国产日韩中文字幕| 欧美高清在线一区| 亚洲一区二区三区在线视频| 久久亚洲视频| 在线亚洲成人| 麻豆成人在线| 亚洲婷婷综合久久一本伊一区| 久久婷婷丁香| 一区二区三区免费在线观看| 久久中文字幕导航| 宅男66日本亚洲欧美视频| 久久久亚洲欧洲日产国码αv| 亚洲日本aⅴ片在线观看香蕉| 欧美中文字幕在线| 亚洲精品一区二区三区av| 久久久久久久国产| 这里只有精品丝袜| 欧美福利视频网站| 久久国产精品久久久久久久久久| 欧美日韩一区二区在线观看| 亚洲国产cao| 国产亚洲欧美一区| 亚洲制服欧美中文字幕中文字幕| 在线播放中文一区| 久久久精品五月天| 亚洲一区二区三区在线观看视频|