也可直接使用Orbbec SDK,使用Orbbec SDK 的系統(tǒng)框圖如下:
本文內(nèi)容
● Orbbec SDK 和 Orbbec SDK K4A Wrapper
● 人體骨骼跟蹤 SDK/span
● Femto Bolt 硬件要求
● 后續(xù)步驟
Femto Bolt 是奧比中光與微軟聯(lián)合打造的一款先進(jìn)iToF 3D相機(jī)。其中深度相機(jī)采用了微軟最新的先進(jìn)ToF傳感技術(shù),擁有與微軟AKDK深度相機(jī)完全一致的工作模式和性能表現(xiàn)。Femto Bolt 3D相機(jī)整合了包括多模式深度相機(jī)、彩色視頻相機(jī)和慣性傳感器在內(nèi)的多種感知方式,通過(guò)單條USB Type-C連接,即可同時(shí)實(shí)現(xiàn)數(shù)據(jù)傳輸和對(duì)相機(jī)供電。同時(shí)Microsoft推薦使用Femto Bolt作為Azure Kinect DK的替代選擇。詳情可參閱:Microsoft’s Azure Kinect Developer Kit Technology Transfers to Partner Ecosystem。Femto Bolt可在Femto Bolt 購(gòu)買(mǎi)鏈接中購(gòu)買(mǎi)。
Femto Bolt開(kāi)發(fā)環(huán)境由以下多個(gè) SDK 組成:
● 用于訪(fǎng)問(wèn)設(shè)備的Orbbec SDK 或者 Orbbec SDK K4A Wrapper。
● 用于跟蹤 3D 人體的人體跟蹤 SDK。
此外,可將認(rèn)知視覺(jué)服務(wù)與設(shè)備 RGB 相機(jī)配合使用,使用Orbbec SDK K4A Wrapper的系統(tǒng)框圖如下:

也可直接使用Orbbec SDK,使用Orbbec SDK 的系統(tǒng)框圖如下:

注: 只使用Orbbec SDK 而不使用 Orbbec SDK K4a Wrapper 不能使用AKDK的骨骼跟蹤算法。
Orbbec SDK 和 Orbbec SDK K4A Wrapper
Orbbec Femto Bolt是Microsoft Azure Kinect DK的可靠替代產(chǎn)品,我們?yōu)榇水a(chǎn)品提供了兩套SDK:Orbbec SDK和 Orbbec SDK K4A Wrapper。
由于Orbbec無(wú)法提供原有AKDK開(kāi)發(fā)工具的升級(jí)及維護(hù),從長(zhǎng)期角度來(lái)看,我們推薦您盡快嘗試和使用Orbbec一直在維護(hù)和更新的Orbbec SDK。使用Orbbec SDK搭配 Femto Bolt,您將得到更加豐富且強(qiáng)大的功能。
為幫助已經(jīng)使用K4A開(kāi)發(fā)了應(yīng)用的用戶(hù)可以更加快速上手Orbbec Femto Bolt,并實(shí)現(xiàn)對(duì)Microsoft AKDK的無(wú)縫替換。我們?cè)贠rbbec SDK的基礎(chǔ)上封裝了最大限度兼容K4A API的Orbbec SDK K4A Wrapper。使用該Wrapper,用戶(hù)基本可以做到不需要修改自己的應(yīng)用代碼。
Orbbec SDK 和 Orbbec SDK K4A Wrapper提供訪(fǎng)問(wèn)用于完成 Femto Bolt 硬件傳感器和設(shè)備配置。
若要詳細(xì)了解 Orbbec SDK 和 Orbbec SDK K4A Wrapper,請(qǐng)參閱使用SDK。
Orbbec SDK 功能
Orbbec SDK 是 Orbbec Femto Bolt 的原生 SDK,能夠使用 Femto Bolt 的全部功能:
● 深度相機(jī)訪(fǎng)問(wèn),分辨率、幀率控制(包括被動(dòng) IR 模式)。
● RGB 相機(jī)的訪(fǎng)問(wèn),分辨率、幀率及圖像效果控制(例如曝光、白平衡、鏡像)。
● IMU(陀螺儀和加速度傳感器)訪(fǎng)問(wèn),不同采樣率及量程控制。
● 深度和 彩色相機(jī)硬件同步及 SDK 側(cè)的軟件同步(基于數(shù)據(jù)幀時(shí)間戳進(jìn)行匹配實(shí)現(xiàn)軟同步),相機(jī)之間的延遲可配置。
● 外部設(shè)備同步控制,設(shè)備之間的延遲偏移量可配置。
● Free Run 模式可實(shí)現(xiàn)深度和彩色相機(jī)不同幀率配置。
● 用于處理圖像分辨率、時(shí)間戳等的相機(jī)幀元數(shù)據(jù)訪(fǎng)問(wèn)。
● 設(shè)備校準(zhǔn)數(shù)據(jù)訪(fǎng)問(wèn)。
● 彩色圖像格式轉(zhuǎn)換、點(diǎn)云數(shù)據(jù)生成等實(shí)用 Filter。
● 與 彩色對(duì)齊的深度數(shù)據(jù)流輸出(即 D2C,輸出的深度坐標(biāo)系及圖像分辨率與 RGB 一致)
● 完整設(shè)置信息獲取(設(shè)備名、固件版本、SN、設(shè)備溫度等)
● 數(shù)據(jù)錄制功能支持?jǐn)?shù)據(jù)壓縮。
● C / C++ 原生 API 及 Python、ROS1、ROS2、Android 等不同語(yǔ)言或系統(tǒng) wrapper
此外,Orbbec SDK 還支持目前奧比幾乎所有主流相機(jī)。
Orbbec SDK K4A Wrapper功能
Orbbec SDK 和 Orbbec SDK K4A Wrapper 提供以下功能,這些功能一經(jīng)安裝即可在 Femto Bolt 上運(yùn)行:
● 深度相機(jī)訪(fǎng)問(wèn)和模式控制(被動(dòng) IR 模式,以及寬視場(chǎng)和窄視場(chǎng)深度模式)。
● RGB 相機(jī)的訪(fǎng)問(wèn)和控制(例如曝光和白平衡)。
● 運(yùn)動(dòng)傳感器(陀螺儀和加速度傳感器)訪(fǎng)問(wèn)。
● 同步的深度 RGB 相機(jī)流,相機(jī)之間的延遲可配置。
● 外部設(shè)備同步控制,設(shè)備之間的延遲偏移量可配置。
● 用于處理圖像分辨率、時(shí)間戳等的相機(jī)幀元數(shù)據(jù)訪(fǎng)問(wèn)。
● 設(shè)備校準(zhǔn)數(shù)據(jù)訪(fǎng)問(wèn)。
Femto Bolt SDK 工具
Orbbec SDK K4A Wrapper 中提供了以下工具:
● 查看器工具,可用于監(jiān)視設(shè)備數(shù)據(jù)流和配置不同的模式。
● 使用 Matroska 容器格式的傳感器錄制工具和播放讀取器 API。
人體骨骼跟蹤 SDK
人體骨骼跟蹤算法SDK使用的是微軟的人體骨骼跟蹤算法,即:Azure Kinect Body Tracking SDK。
在 Femto Bolt 硬件上使用人體骨骼跟蹤算法,請(qǐng)參考:
Azure Kinect 人體跟蹤功能
Femto Bolt支持接入Azure Kinect Body Tracking SDK,可獲得與使用AKDK完全一致的人體跟蹤功能和效果:
● 提供人體圖像分割。
● 包含視野FOV范圍的部分人體或全部人體的骨架。
● 提供每個(gè)人體的唯一標(biāo)識(shí)。
● 可實(shí)時(shí)跟蹤人體。
Azure Kinect 人體跟蹤工具
將Femto Bolt接入Azure Kinect Body Tracking SDK后,可支持使用此SDK中的viewer tool,實(shí)現(xiàn)下述功能。
● 人體跟蹤器提供一個(gè)查看器工具用于查看如何跟蹤 3D 人體。
Femto Bolt 硬件要求
Femto Bolt 是奧比中光與微軟聯(lián)合打造的一款高性能iToF 3D相機(jī)。相機(jī)采用了與Azure Kinect DK相同的深度模塊,延續(xù)了同樣的深度模式與性能, 有關(guān)詳細(xì)信息,請(qǐng)參閱硬件規(guī)格。
后續(xù)步驟
現(xiàn)在你已經(jīng)對(duì)Femto Bolt有了初步的認(rèn)識(shí),接下來(lái)請(qǐng)深入了解其各項(xiàng)功能并進(jìn)行相應(yīng)的設(shè)置--快速入門(mén):設(shè)置Femto Bolt!