近日,上海肇觀電子科技有限公司推出了一款內嵌智能深度相機---Feynman系列。
Feynman系列基于肇觀電子自主研發的主控人工智能視覺芯片---NE-D163A,將主要供應無感智能門禁、AR/VR、智能交通、物聯網、機器人、機器視覺和安防等市場。另外,為滿足智能設備避障、智能分析和定位等需求,肇觀電子還提供Feynman系列的軟件開發工具包(SDK),使其能夠設置差異化算法,進行深度定制。
強大的人工智能視覺芯片---NE-D163A
肇觀電子是一家專門從事人工智能芯片和計算機視覺芯片設計的高新企業,其產品主要應用于車載、家用攝像、安防、3D視覺和門禁等芯片需求市場。主控人工智能視覺芯片NE-D163A搭配超強性能視覺處理獨立硬件IP,完全由肇觀電子自主研發,主要應用于工業檢測、機器人和AR/VR等領域。
NE-D163A視覺AI芯片
NE-D163A搭載的嵌入式神經網絡處理器(NPU),在業界硬件利用率方面處于領先地位。從每個處理器運算能力單位對典型網絡的推理幀率來看,NE-D163A相比業內其他AI芯片,在性能上要強2、3倍。NE-D163A搭載的AI編譯器Infer Studio?,除了支持Transformer、RNN、CNN、LSTM等網絡類型,還支持NCNN、ONNX、Caffe、Tensorflow等框架。
另外,NE-D163A搭載的嵌入式神經網絡處理器支持INT8和FP16兩種精度選擇。其中,INT8的精度損失能控制在1%以內,FP16則能達到無損精度,保證了算法部署的精確度。
Feynman相機有哪些性能特點
NE-D163A芯片還擁有自主學習ISP流水線架構,就算在各種復雜的光照條件下,Feynman相機仍然能生成高質量的圖像。同時,Feynman搭載的傳感器支持高動態HDR,在較低光照度的條件下,成像依然非常清晰。
國外競品R* D435 (左)與Feynman M1 (右)
Feynman相機還能為機器人提供強大的理解能力和環境感知能力。Feynman相機搭載了豐富的傳感器組件,包括雙目紅外攝像頭IR模組、慣性測量單元 (IMU)、散斑結構光、彩色攝像頭RGB全局曝光模組等,能夠搜集周圍環境中的多維度信息。
Feynman的SoC芯片包含了視覺加速引擎DSP、幾何和深度引擎DEP、AI加速引擎NPU,同時運用了主動雙目視覺技術,保證Feynman在室內各場景下都能生成高精度、高幀率的深度圖。從整體上看,Feynman具有集成度高、AI算力強、體積小、深度圖精度高、ISP成像質量好、幀率高、功耗低等特性。
Feynman相機集成了性能強大的嵌入式神經網絡處理器,視覺加速算力非常優秀。這使得Feynman相機不光能生成高質量的深度圖,還能根據深度圖或者RGB圖像實現生物檢測、智能分析、識別。在DSP加速視覺算子的加持下,Feynman相機可以實現對VSLAM算法關鍵函數的加速,還可以定制實現高性能的點云處理和深度圖后處理。Feynman也是業內首款集成DSP和AI算力的深度相機。
Feynman M1結構圖
Feynman相機在不外掛其他處理器的情況下,就能實現720P 30FPS的深度圖,深度視覺處理能力非常強大。我們知道,深度距離的精確程度跟深度圖的精確度有很大的關系。在相同的外部條件下,Feynman相機的空洞率已經優于國際相機巨頭的水平。
Feynman相機的結構非常緊湊,在大小上能夠兼容市面主流的深度相機。與市面上的高端3D深度相機相比,Feynman相機的性能指標非常具有競爭優勢,在智能設備的應用方面更加具有亮點。
Feynman相機的應用場景
市面上大多數深度相機,陽光下的主動光容易受到干擾,導致深度圖的效果不佳。Feynman相機使用了獨特的光學設計,使其不僅可以在室內使用,還能適用室外復雜的場景。在面對室外強烈的陽光時,Feynman相機在保持信噪比的同時,還能降低太陽光的干擾,保證了深度圖的完整性和準確性。
Feynman相機的強大性能,保證了其在智能機器人領域的巨大應用前景。在工業應用領域,Feynman相機經過改款之后,新增了控制信號航插,千兆以太網和電源功能,以滿足工業生產的需求。