二維（2D）和三維（3D）雙模視覺信息在自動(dòng)駕駛、工業(yè)機(jī)器人、人機(jī)交互等前沿領(lǐng)域具有廣泛的應(yīng)用前景。但是2D和3D兩種模式視覺信息在處理方法上存在較大的差異，使得邊緣端計(jì)算型處理器難以兼顧兩種模式的處理需求；同時(shí)以深度學(xué)習(xí)為代表的人工智能算法的計(jì)算密集和高數(shù)據(jù)復(fù)用率等特點(diǎn)進(jìn)一步增加了處理器電路的設(shè)計(jì)復(fù)雜度，導(dǎo)致邊緣端實(shí)現(xiàn)雙模視覺信息智能處理的芯片設(shè)計(jì)面臨大的挑戰(zhàn)。

中國科學(xué)院半導(dǎo)體研究所劉力源研究員帶領(lǐng)的團(tuán)隊(duì)在雙模視覺信息智能計(jì)算芯片設(shè)計(jì)領(lǐng)域取得重要進(jìn)展。團(tuán)隊(duì)創(chuàng)新性地設(shè)計(jì)了一款兼容處理2D/3D雙模視覺信息的視覺處理器架構(gòu)和用于人工智能算法的數(shù)據(jù)流。提出了一種可重構(gòu)并行處理單元陣列架構(gòu)，并行處理單元陣列支持向量化單指令多數(shù)據(jù)處理模式，可顯著提升人工智能算法的數(shù)據(jù)復(fù)用率，減小了算法處理延時(shí)和訪存功耗；設(shè)計(jì)了一種用于2D/3D圖像處理算法的指令集架構(gòu)以及對應(yīng)的算法部署方法，能夠靈活映射從數(shù)據(jù)預(yù)處理到智能處理階段的圖像處理算法，消除冗余的專用圖像處理電路，提升了芯片單位面積算力。測試結(jié)果表明，芯片可實(shí)現(xiàn)3D深度重建、2D人臉目標(biāo)檢測和2D目標(biāo)追蹤算法。圖1和圖2分別為芯片照片和片上算法處理結(jié)果。該工作為設(shè)備功耗與體積均受限的邊緣場景多模態(tài)視覺信息智能處理提供了一個(gè)高效且靈活的智能化計(jì)算平臺(tái)。

該成果由半導(dǎo)體所博士生魏思源等在劉力源研究員的指導(dǎo)下完成。成果得到了國家重點(diǎn)研發(fā)計(jì)劃和國家自然科學(xué)基金等項(xiàng)目的資助。

圖1 芯片照片

圖2?片上算法推理結(jié)果

（來源：中國科學(xué)院半導(dǎo)體研究所）