一項深度學(xué)習(xí)工程的搭建，可分為訓(xùn)練（training）和推斷（inference）兩個環(huán)節(jié)。推斷（inference）環(huán)節(jié)指利用訓(xùn)練好的模型，使用新的數(shù)據(jù)去“推斷”出各種結(jié)論，如視頻監(jiān)控設(shè)備通過后臺的深度神經(jīng)網(wǎng)絡(luò)模型，判斷一張抓拍到的人臉是否屬于黑名單。雖然推斷環(huán)節(jié)的計算量相比訓(xùn)練環(huán)節(jié)少，但仍然涉及大量的矩陣運算。在推斷環(huán)節(jié)，除了使用CPU或GPU進行運算外，F(xiàn)PGA以及ASIC均能發(fā)揮重大作用。

FPGA（可編程門陣列，F(xiàn)ield Programmable Gate Array）是一種集成大量基本門電路及存儲器的芯片，可通過燒入FPGA配置文件來來定義這些門電路及存儲器間的連線，從而實現(xiàn)特定的功能。而且燒入的內(nèi)容是可配置的，通過配置特定的文件可將FPGA轉(zhuǎn)變?yōu)椴煌奶幚砥鳎腿缫粔K可重復(fù)刷寫的白板一樣。因此FPGA可靈活支持各類深度學(xué)習(xí)的計算任務(wù)，性能上根據(jù)百度的一項研究顯示，對于大量的矩陣運算GPU遠(yuǎn)好于FPGA，但是當(dāng)處理小計算量大批次的實際計算時FPGA性能優(yōu)于GPU，另外FPGA有低延遲的特點，非常適合在推斷環(huán)節(jié)支撐海量的用戶實時計算請求（如語音云識別）。

FPGA和GPU內(nèi)都有大量的計算單元，因此它們的計算能力都很強。在進行神經(jīng)網(wǎng)絡(luò)運算的時候，兩者的速度會比CPU快很多。但是GPU由于架構(gòu)固定，硬件原生支持的指令也就固定了，而FPGA則是可編程的。其可編程性是關(guān)鍵，因為它讓軟件與終端應(yīng)用公司能夠提供與其競爭對手不同的解決方案，并且能夠靈活地針對自己所用的算法修改電路。

在平均性能方面，GPU遜于FPGA，F(xiàn)PGA可以根據(jù)特定的應(yīng)用去編程硬件，例如如果應(yīng)用里面的加法運算非常多就可以把大量的邏輯資源去實現(xiàn)加法器，而GPU一旦設(shè)計完就不能改動了，所以不能根據(jù)應(yīng)用去調(diào)整硬件資源。

目前機器學(xué)習(xí)大多使用SIMD架構(gòu)，即只需一條指令可以平行處理大量數(shù)據(jù)，因此用GPU很適合。但是有些應(yīng)用是MISD，即單一數(shù)據(jù)需要用許多條指令平行處理，這種情況下用FPGA做一個MISD的架構(gòu)就會比GPU有優(yōu)勢。 所以，對于平均性能，看的就是FPGA加速器架構(gòu)上的優(yōu)勢是否能彌補運行速度上的劣勢。如果FPGA上的架構(gòu)優(yōu)化可以帶來相比GPU架構(gòu)兩到三個數(shù)量級的優(yōu)勢，那么FPGA在平均性能上會好于GPU。

在功耗能效比方面，同樣由于FPGA的靈活性，在架構(gòu)優(yōu)化到很好時，一塊FPGA的平均性能能夠接近一塊GPU，那么FPGA方案的總功耗遠(yuǎn)小于GPU，散熱問題可以大大減輕。 能效比的比較也是類似，能效指的是完成程序執(zhí)行消耗的能量，而能量消耗等于功耗乘以程序的執(zhí)行時間。雖然GPU的功耗遠(yuǎn)大于FPGA的功耗，但是如果FPGA執(zhí)行相同程序需要的時間比GPU長幾十倍，那FPGA在能效比上就沒有優(yōu)勢了；反之如果FPGA上實現(xiàn)的硬件架構(gòu)優(yōu)化得很適合特定的機器學(xué)習(xí)應(yīng)用，執(zhí)行算法所需的時間僅僅是GPU的幾倍或甚至于接近GPU，那么FPGA的能效比就會比GPU強。

另外，F(xiàn)PGA的靈活性，很多使用通用處理器或ASIC難以實現(xiàn)的下層硬件控制操作技術(shù)利用FPGA可以很方便的實現(xiàn)，從而為算法的功能實現(xiàn)和優(yōu)化留出了更大空間。同時FPGA一次性成本(光刻掩模制作成本)遠(yuǎn)低于ASIC，在芯片需求還未成規(guī)模、深度學(xué)習(xí)算法暫未穩(wěn)定需要不斷迭代改進的情況下，利用具備可重構(gòu)特性的FPGA芯片來實現(xiàn)半定制的人工智能芯片是最佳選擇。