一項重大原始創(chuàng)新，如何通過開源平臺更好地轉(zhuǎn)化？作者｜蘇霍伊???編輯｜王博1839年，法國人路易·達蓋爾發(fā)明銀版攝影法。他處理完照片后，曾興奮地對人們大喊：“我抓住了光！我捕捉到了它的飛行！”其中后一句并不準(zhǔn)確：靜態(tài)照片并不能記錄光的飛行過程。從傳統(tǒng)膠片相機到數(shù)碼相機，都采用快門曝光原理，由快門控制光線照射到光敏材料上的時間。快門越快，進入相機的光線越少，曝光時間越短；反之，曝光時間越長。按下快門，連續(xù)動態(tài)的光子變化過程就會被壓縮成一瞬間儲存在平面靜態(tài)圖像中。電影、電視是動態(tài)視頻，也是由每秒一定幀數(shù)的靜態(tài)照片組成。“傳統(tǒng)相機是工業(yè)時代化學(xué)技術(shù)的產(chǎn)物，數(shù)碼相機雖然拋棄了膠片，但仍然采用靜態(tài)圖像和靜態(tài)圖像序列（視頻）記錄光過程，觀念上還停留在化學(xué)時代，無法有效表達光的高速變化過程。”北京大學(xué)計算機學(xué)院教授黃鐵軍說。2016年，黃鐵軍發(fā)明了一個顛覆了傳統(tǒng)相機快門曝光原理的新技術(shù)——脈沖連續(xù)攝影原理，脈沖相機不僅能“抓住”光，還能記錄光的飛行過程。不同于現(xiàn)有相機采用的定時曝光靜態(tài)成像原理，脈沖成像原理以超高速連續(xù)脈沖流逼近光的連續(xù)變化過程，采用成熟集成電路工藝、釋放電路自身潛力，研制了高速視覺芯片、相機和機器視覺系統(tǒng)，實現(xiàn)了高速、高動態(tài)、無模糊連續(xù)成像。脈沖相機模擬靈長類視網(wǎng)膜編碼原理，每個像素將光信號轉(zhuǎn)換成比特流，一個脈沖對應(yīng)一組光子，脈沖寬度的倒數(shù)對應(yīng)光強，準(zhǔn)確完整記錄光的時空變化過程，了沿用近兩個世紀(jì)的圖像和視頻概念，是一項從0到1的重大原始創(chuàng)新。簡而言之，圖片是靜態(tài)的，視頻是靜態(tài)圖像序列，而脈沖流則是光子流的粗粒度表示。測試表明，脈沖相機能夠清晰拍攝對側(cè)相對速度700公里/小時的會車高鐵，采用脈沖相機拍攝北京大學(xué)6馬赫高超聲速風(fēng)洞實驗，能夠清晰記錄激波形成和變化過程。今年5月，在第49屆日內(nèi)瓦國際發(fā)明展上，“脈沖連續(xù)攝影原理和相機”脫穎而出，獲得最高級別的“評審團嘉許金獎”。脈沖視覺芯片與脈沖視覺相機現(xiàn)在，技術(shù)和產(chǎn)品都有了，如何將脈沖相機的科研成果更好轉(zhuǎn)化，讓更多人使用呢？1.脈沖相機的“哆啦A夢”“工欲善其事，必先利其器。”為了讓更多的用戶能夠充分利用脈沖相機，建立一個脈沖視覺的社區(qū)生態(tài)系統(tǒng)，來自北京大學(xué)的團隊建立了SpikeCV開源平臺。SpikeCV主要團隊成員這個平臺提供了各種超高速場景數(shù)據(jù)集、硬件接口和易于使用的模塊庫。 SpikeCV專注于封裝脈沖數(shù)據(jù)、標(biāo)準(zhǔn)化數(shù)據(jù)集接口、模塊化視覺任務(wù)以及挑戰(zhàn)性場景的實時應(yīng)用，其可以作為一個Python庫，滿足大多數(shù)研究者在數(shù)值分析方面的需求。簡單來說，SpikeCV為脈沖相機和使用者之間架起了一座橋梁。SpikeCV開源平京大學(xué)計算機學(xué)院博雅博士后鄭雅菁和博士生張濟遠SpikeCV團隊的主要成員。在北京大學(xué)內(nèi)的3W咖啡館，「甲子光年」見到了這兩位青年學(xué)者。鄭雅菁于2017年獲得四川大學(xué)計算機科學(xué)珠峰班學(xué)士學(xué)位，并于2022年獲得北京大學(xué)計算機學(xué)院博士學(xué)位，研究興趣包括神經(jīng)形態(tài)計算、計算機視覺、機器學(xué)習(xí)和脈沖神經(jīng)網(wǎng)絡(luò)等領(lǐng)域。鄭雅菁張濟遠于2020年獲得浙江大學(xué)計算機科學(xué)與技術(shù)學(xué)院學(xué)士學(xué)位，目前是北京大學(xué)計算機學(xué)院的博士生，研究興趣包括神經(jīng)形態(tài)計算、計算機視覺和計算攝影。張濟遠他們師從黃鐵軍教授，2022年開始和團隊一起搭建了整個SpikeCV平臺，從硬件接口到數(shù)據(jù)處理，再到算法和最終的測試，每一個環(huán)節(jié)都需要仔細設(shè)計和完善。尤其是在項目的初期，團隊需要花大量時間討論整體架構(gòu)，如何將硬件、數(shù)據(jù)和算法有效集成，從而組建一個模塊化、標(biāo)準(zhǔn)化且具有良好擴展性的工程化平臺。“最開始的架構(gòu)設(shè)計花了很多時間，幾乎花了半年時間，不斷加班討論。”鄭雅菁回憶。“我們想為開發(fā)者打造一個‘哆啦A夢’。”張濟遠說。SpikeCV的架構(gòu)有三個部分：數(shù)據(jù)集、模塊庫和設(shè)備接口。SpikeCV架構(gòu)首先是數(shù)據(jù)集，SpikeCV集成了可用于驗證或訓(xùn)練模型的標(biāo)準(zhǔn)化數(shù)據(jù)集。其中包含由脈沖相機或脈沖模擬器生成的真實場景，并附帶詳細的標(biāo)簽信息，比如視頻、光流、深度和物體類別。SpikeCV還提供了用于記錄脈沖數(shù)據(jù)和標(biāo)簽文件屬性的附加配置文件。然后是模塊庫，模塊庫主要有三個類別：數(shù)據(jù)處理、視覺模型/算法和工具。數(shù)據(jù)處理模塊SpkData包括脈沖流類、脈沖模擬器、標(biāo)簽加載器和用于訓(xùn)練模型的數(shù)據(jù)集接口，幫助研究人員獲得更干凈、更精準(zhǔn)的數(shù)據(jù)流程。算法庫SpkPro有用于脈沖相機的各種視覺算法。因為它們，脈沖不再是單純的電子信號，而是能捕捉動態(tài)變化的神經(jīng)網(wǎng)絡(luò)。而Tool是一個支持開發(fā)的工具庫，包含：Visualization——脈沖流或各類視覺任務(wù)結(jié)果的可視化；Metrics——各類視覺任務(wù)結(jié)果的定量評價指標(biāo)；Utils——輔助開發(fā)工具，例如數(shù)據(jù)路徑處理等。它像是技術(shù)人員的“瑞士”，既可以用來展示數(shù)據(jù)和模型的成果，也可以對結(jié)果進行量化分析。最后是硬件接口，SpikeCV的硬件接口可以幫助用戶將基于脈沖的算法應(yīng)用于實時處理硬件。目前SpikeCV已經(jīng)集成了脈沖相機的硬件接口。用戶可以使用脈沖相機接口來自己拍攝場景從而收集數(shù)據(jù)集或評估算法的實時性能。整體而言，SpikeCV具有易用性、實時性的特點，還構(gòu)建了一個脈沖生態(tài)，初學(xué)者也可以很快上手學(xué)習(xí)什么是脈沖數(shù)據(jù)，以及如何使用脈沖相機來處理視覺任務(wù)。SpikeCV特性如今SpikeCV的框架已經(jīng)趨于成熟，團隊的重心也逐漸轉(zhuǎn)向如何將這些技術(shù)應(yīng)用到更多的實際場景中。比如，自動駕駛。2.在復(fù)雜駕駛場景中更好地感知環(huán)境自動駕駛性能在很大程度上取決于感知系統(tǒng)。感知系統(tǒng)是自動駕駛汽車中的關(guān)鍵組成部分，它負責(zé)實時獲取并準(zhǔn)確解讀車輛周圍的環(huán)境信息，為車輛的決策和控制提供可靠的數(shù)據(jù)支持。目前感知系統(tǒng)的主流技術(shù)方案有：以視覺相機為主的多傳感器融合方案；以激光雷達為主導(dǎo)、其他傳感器為輔助的技術(shù)方案；純視覺感知方案。視覺傳感器作為直接感知場景的信號源，在輔助理解駕駛場景方面發(fā)揮關(guān)鍵作用。自動駕駛感知系統(tǒng)，圖片來源：freepik張濟遠和鄭雅菁介紹，傳統(tǒng)相機成像原理在自動駕駛場景中應(yīng)用會有兩個問題：自動駕駛屬于連續(xù)攝影的場景，相機曝光時間的長短將影響成像質(zhì)量進而影響感知能力，曝光時間過長將使場景過曝或引入模糊，曝光時間過短則欠曝或引入更多噪聲；由于曝光時間小于幀間間隔，傳統(tǒng)相機的成像過程并不是連續(xù)的，丟失了時間連續(xù)性，致使感知算法無法充分利用時間上的特征。“自動駕駛中許多復(fù)雜場景為傳統(tǒng)視覺感知算法帶來挑戰(zhàn)，在路況復(fù)雜、光線變化劇烈、光線不足或存在高速的場景中，傳統(tǒng)相機的感知會出現(xiàn)錯誤，存在數(shù)據(jù)采樣冗余大、動態(tài)范圍小和時間分辨率低等問題。”張濟遠說。在適應(yīng)極端環(huán)境能力方面，脈沖相機相較傳統(tǒng)相機存在感知優(yōu)勢。比如在車輛高速駛過時類似“鬼探頭”的場景、車輛顛簸場景及光線較強時的場景，這些場景均會使傳統(tǒng)相機感知質(zhì)量下降，產(chǎn)生模糊或過曝效應(yīng)；而脈沖相機可以較好地恢復(fù)這些挑戰(zhàn)性駕駛場景的高清、高動態(tài)影像。車通環(huán)境中脈沖相機與傳統(tǒng)相機成像對比“利用脈沖相機的成像特點，高質(zhì)量影像可從脈沖流中恢復(fù)出來，從而輔助高速駕駛場景中的視覺感知。”張濟遠告訴「甲子光年」，“脈沖視覺研究中很重要的一塊就是如何能從脈沖流中恢復(fù)影像。”“脈沖”是一個物理學(xué)術(shù)語，指在極短時間內(nèi)突然發(fā)生并迅速消失的物理量的變化。脈沖視覺是一種基于脈沖信號的視覺信息處理技術(shù)。在這項技術(shù)中，每個像素點上的感光單元會在接收到的光強度超過預(yù)設(shè)閾值時產(chǎn)生一個脈沖信號。這些脈沖信號構(gòu)成了脈沖數(shù)字流（Spike Stream），這實際上是用一系列脈沖表示二進制數(shù)據(jù)的信號，每個脈沖代表“1”，沒有脈沖代表“0”。“對于脈沖相機來說，光有這樣0和1的數(shù)據(jù)是不夠的，人們要直觀看到這些脈沖代表的圖像。”鄭雅菁解釋道。在SpikeCV推出之前，黃鐵軍團隊就在脈沖視覺影像重建方面開展了大量的研究，SpikeCV推出后，相關(guān)研究成果也整合到了SpikeCV開源平臺中。脈沖視覺影像重建研究發(fā)展時間軸就像時間與空間的“握手言和”，利用脈沖相機和傳統(tǒng)相機的傳感器融合方案，可以有效將脈沖流的高時間分辨率和傳統(tǒng)相機高空間分辨率的優(yōu)勢結(jié)合起來，實現(xiàn)更優(yōu)的感知能力。張濟遠和鄭雅菁介紹，傳統(tǒng)視覺和脈沖視覺融合可以恢復(fù)高動態(tài)范圍影像，讓過曝、欠曝等極端問題成為過去式，并消除視頻影像中的模糊效應(yīng)等。實際應(yīng)用中，常規(guī)速度情況下的駕駛感知可以只使用傳統(tǒng)相機，高速或光線極端情況下可以采用傳感器融合方案補償感知能力。“我們會不斷探索更前沿的東西，比如三維視覺和模態(tài)的融合。”張濟遠告訴「甲子光年」，脈沖相機的應(yīng)用不僅僅局限于現(xiàn)有的二維成像，它將進一步拓展到更高維度的感知領(lǐng)域，與其他傳感器數(shù)據(jù)相結(jié)合，提供更加全面的視覺解決方案。目前，利用脈沖相機采樣連續(xù)的優(yōu)點，團隊通過滑動脈沖相機就看清障礙物背后的物體，實現(xiàn)“見所未見”；而基于脈沖相機超高速的特點，針對自動駕駛領(lǐng)域比較棘手的“鬼探頭”場景，脈沖相機已經(jīng)可以進行“超敏感知”。“我們基于脈沖相機做了一款針對這些場景的系統(tǒng)，現(xiàn)在已能讓機器視覺‘感知行’延遲降低至數(shù)毫秒內(nèi)。”鄭雅菁說。3.“把黑箱透明化，是科學(xué)目標(biāo)”1999年，杰弗里·辛頓和安德魯·布朗寫了一篇關(guān)于脈沖玻爾茨曼機（Spiking Boltzmann Machines）學(xué)習(xí)算法的論文。他們當(dāng)時很希望能找到一種適合脈沖神經(jīng)元的學(xué)習(xí)算法，并認(rèn)為這是脈沖神經(jīng)元硬件取得進展的關(guān)鍵。《Spiking Boltzmann Machines》，圖片來源：NlPS papers當(dāng)時很多學(xué)者也意識到，找到適合脈沖神經(jīng)元的學(xué)習(xí)算法就可以構(gòu)建更加節(jié)能的硬件，建立大型系統(tǒng)。黃鐵軍自己也從事了十多年的脈沖神經(jīng)網(wǎng)絡(luò)研究，他認(rèn)為，未來新一代人工智能的技術(shù)路線走向有三條：第一是基于大數(shù)據(jù)和深度學(xué)習(xí)算法實現(xiàn)的人工智能技術(shù)路線；第二是通過強化學(xué)習(xí)，在虛擬環(huán)境不斷訓(xùn)練得出的具身智能路線；第三是通過模擬生物神經(jīng)系統(tǒng)和生物智能，最終實現(xiàn)智能生命技術(shù)路線。北京大學(xué)計算機學(xué)院教授黃鐵軍，圖片來源：2023甲子引力年終盛典去年，甲對話黃鐵軍時，黃鐵軍曾這樣表達：“人腦是個黑箱系統(tǒng)，我們所已知的只是黑箱中很有限的部分。例如，我們以為很清楚眼睛視網(wǎng)膜的工作原理，但實際可能只了解10%。當(dāng)然，我們希望一步步分析視網(wǎng)膜內(nèi)的信號變換過程，把黑箱透明化，這是科學(xué)目標(biāo)。”2021年，一篇題為《通過卷積循環(huán)神經(jīng)網(wǎng)絡(luò)揭示對動態(tài)自然的神經(jīng)編碼（Unravelling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks）》的論文發(fā)表在《細胞·模式（Cell Patterns）》上，論文提出并實現(xiàn)了一種基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜編碼模型，能夠高精度地預(yù)測大規(guī)模視網(wǎng)膜神經(jīng)節(jié)細胞對動態(tài)自然場景的響應(yīng)，同時可以學(xué)習(xí)出各個神經(jīng)節(jié)細胞的感受野（神經(jīng)元所反應(yīng)的區(qū)域）。視網(wǎng)膜結(jié)構(gòu)與對應(yīng)的卷積循環(huán)編碼網(wǎng)絡(luò)論文提到，卷積循環(huán)編碼網(wǎng)絡(luò)不僅結(jié)構(gòu)上更接近人類視網(wǎng)膜，還能通過更少的參數(shù)實現(xiàn)更高精度的編碼模型。實驗結(jié)果顯示，網(wǎng)絡(luò)的循環(huán)連接結(jié)構(gòu)是影響視網(wǎng)膜編碼的關(guān)鍵因素。這一模型不僅具有生物學(xué)價值，而且對設(shè)計新一代脈沖視覺模型、芯片乃至研制視網(wǎng)膜假體都極具意義。這篇論文的第一作者就是鄭雅菁。目前鄭雅菁還是倫敦大學(xué)學(xué)院（UCL）的訪問學(xué)者，她在UCL的導(dǎo)師卡爾·弗里斯頓（Karl Friston）教授提出的“貝葉斯大腦”概念給了她很大啟發(fā)。“貝葉斯大腦”指大腦通過不斷更新對外部世界的預(yù)測來減少內(nèi)部的預(yù)測誤差。脈沖相機與脈沖神經(jīng)網(wǎng)絡(luò) （Spiking Neural Network，SNN）的結(jié)合能夠真正實現(xiàn)類腦視覺的全套概念，從而提供更具生物啟發(fā)意義的視覺解決方案。人類視覺系統(tǒng)的高效性來源于對信息的篩選和高效處理，鄭雅菁也在研究將貝葉斯大腦與脈沖相機進行結(jié)合，將大腦的運作模式映射到視覺設(shè)備中，從而達到更智能的視覺處理方式。“脈沖相機技術(shù)不僅改變了機器如何看待世界，也改變了我們對機器視覺的理解方式。通過結(jié)合類腦計算，它能夠在復(fù)雜環(huán)境中高效工作，而不依賴高耗能的計算資源。”鄭雅菁告訴「甲子光年」。在SpikeCV團隊的GitHub主頁寫著一句口號，前半句是“我們不僅提供錘子，還制造釘子”。SpikeCV中的Spike有“脈沖”和“尖狀物”的意思。這群未名湖畔的捕光者，不僅提了“錘子”——脈沖相機，還制造了“釘子”——應(yīng)用場景。但口號后半句才是他們的愿景：“捕光制電，我們想打開前所未見的視覺新世界。”（封面圖及文中未標(biāo)來源圖片均由受訪者提供）END.