在創(chuàng)業(yè)公司NGD的Keynote中,我們看到了他們和微軟研究院完成的原型概念驗證。基于In-suite processing的概念在存儲控制上集成了計算加速的單元。這個概念和大部分在存儲上做加速的方案類似,利用與數(shù)據(jù)存儲比較靠近的優(yōu)勢來實現(xiàn)計算的offlaoding,從而降低延時。

NGD加速的應(yīng)用是目前比較熱門的CNN,類似Image的分類,人臉識別,以及車輛牌照識別之類的Edge端的應(yīng)用。和以云端數(shù)據(jù)中心的形式存在的Google的TPU Pod不同,在Edge端的應(yīng)用對于實時性要求更加嚴(yán)格,在5G出現(xiàn)之前,從端設(shè)備發(fā)送原始數(shù)據(jù)到云端處理的路徑還是過長,因此Edge 計算和所謂的霧計算還是有很強(qiáng)大的生命了。使用Edge端的處理能力的好處主要是:1. 延時端,2. 減少了數(shù)據(jù)的傳輸量,不需要原始數(shù)據(jù),特征數(shù)據(jù)就夠了。

在FMS 2018上,類似的方案還有Marvell,Marvell宣布了一個概念芯片,他們把SSD的控制器和Nvidia的NVDLA結(jié)合在一起,推了了一個在端設(shè)備可以做深度學(xué)習(xí)推理的設(shè)備。

NVDLA的信息都在這個http://nvdla.org/primer.html,在2017年發(fā)布的時候,大家都驚呼可能要終結(jié)很多AI的創(chuàng)業(yè)公司的ASIC計劃,因為NVDLA利用Nvidia在深度學(xué)習(xí)上的技術(shù)優(yōu)勢,開源這樣一個Deep Learning Accelerator的設(shè)計,Nvidia的之前的大部分投入都在訓(xùn)練市場,對于推理來講,需要通過新的硬件和架構(gòu)來適配。從占領(lǐng)市場的角度,開源這個加速器的設(shè)計,對于增加話語權(quán)有著重要的意義。

在Marvell的展臺上貌似沒有看到這個概念芯片的具體信息。只是 在FMS2018的新聞稿來看到了一些信息。目前這種AI SSD關(guān)注的領(lǐng)域是數(shù)據(jù)分析市場,在具體的云端或者edge端大數(shù)據(jù)分析以及數(shù)據(jù)標(biāo)注的應(yīng)用上,可以使用AI SSD的加速功能。從NVDLA的內(nèi)部框圖上可以看出,NVDLA主要只是針對CNN的圖像應(yīng)用。

并不是Marvell這個一家公司這樣,很多企業(yè)級控制器的廠家都在考慮這個方向;來自PMC加拿大班底的Netint.ca在FMS也展示了他們PCIE4.0 的SSD 控制器。

在SSD控制中集成了Video的處理單元。對于高清的H.265的處理,以為目前主流的方案還是CPU為主,因此單個Intel的X86的服務(wù)器級別的方案都在4-6路之間,而使用硬件加速可以在性能和功耗比上完勝。

之前在武漢存儲半導(dǎo)體峰會上,A股上市公司國科微也提出了near data計算的概念,如何在SSD的設(shè)計中體現(xiàn)對AI workload的優(yōu)化。目前在我天朝,AI發(fā)展最熱的,也是各級領(lǐng)導(dǎo)最重視的就是安防了,人臉識別,行為判斷,數(shù)人頭,等等是安定團(tuán)結(jié)的技術(shù)手段。其中的技術(shù)挑戰(zhàn)也很多。

作為存儲大數(shù)據(jù)分析加速,不能不談一下BlueDBM,這個項目的韓國人從MIT畢業(yè)了,到了UIC Irvien,還是在談大數(shù)據(jù)分析加速,在原有的框架上增加了很多的內(nèi)容。

已經(jīng)在做圖計算以及Vertex的計算了,下一步是啥,參加過機(jī)器學(xué)習(xí)入門的人應(yīng)該不陌生了。建議大家技術(shù)關(guān)注這個明星項目。之前在MIT的時候有廣達(dá)的中研院支持,現(xiàn)在不知道會不有samsung的支持了。

和之前之四講的計算加速類似,我們可以看到一個明顯的趨勢就是在SSD控制器中增加對near data計算的支持,把一些相對成熟的方案集成進(jìn)去,這可能是企業(yè)級SSD控制器的新方向。最后,用一個韓國公司的SSD 控制器作為FMS 2018的結(jié)束了。他們是目前第一家使用RISC-V做SSD控制器,而且他們的性能和架構(gòu)上和傳統(tǒng)的控制器有很大的區(qū)別,值得學(xué)習(xí)。

原文標(biāo)題:FMS 2018 之六:在存儲中做AI

文章出處:【微信號:SSDFans,微信公眾號:ssdfans】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。