這個周末看了兩天的微軟Build 2012大會，真的是一次盛會，上面有很多的演講主題，都是微軟相關(guān)技術(shù)和產(chǎn)品的最新動態(tài)，我比較關(guān)注.NET、WPF、Office及Kinect相關(guān)開發(fā)，上面的演講視頻和屁屁踢都可以下載，個人覺得比較精彩的有The Evolution of .NET ，回顧了微軟推出.NET以來的歷次開發(fā)者大會推出的新版本和新特性，里面還有10多年前比爾蓋子老師在開發(fā)者大會上宣布.NET戰(zhàn)略時的演講視頻，不覺得感嘆歲月是把殺豬刀啊。 What's New for Developers in Office 2013 and SharePoint 2013 介紹了不同于以往的以VBA，SharedAddIn，以及VSTO的全新的Office開發(fā)方式OfficeApp，Building apps for Office and SharePoint 2013 using the web technologies you know and love, Part 1、Part2介紹了如何使用各種我們熟悉的技術(shù)如Html、Javascript、C#等來構(gòu)建OfficeApp。上面還有很多關(guān)于Windows Phone 8，WPF4.5等相關(guān)的介紹，主題很多，強烈建議大家有空可以上去看看。
大會上關(guān)于Kinect開發(fā)有三個，第一個是微軟研究院講的Super-Natural Interaction這個屁屁踢比演講視頻都大，達(dá)到了罕見的997M，為啥這么大呢，因為里面嵌入了一個長達(dá)40分鐘視頻，哈哈，這個演講主要演示了微軟研究院正在進(jìn)行的各種人機交互，虛擬現(xiàn)實等研究，非常的Cutting-edge，里面也有和Kinect相關(guān)的部分，有興趣的可以看看。第二個是Kinect Design Considerations，一則關(guān)于Kinect應(yīng)用程序設(shè)計是應(yīng)該考慮的問題比如交互方式的設(shè)計的演講，我沒有太仔細(xì)看，不過內(nèi)容應(yīng)該和Kinect Human Interface Guideline內(nèi)容差不多，您可以在Kinect Developer Toolkit中查看。第三篇演講是 Kinect for Windows Programming Deep Dive 我將這個翻譯為了深入理解Kinect for Windows開發(fā)，相對來說該演講和Kinect開發(fā)比較相關(guān)，現(xiàn)與大家分享，該演講上面寫的級別為 300-advanced，個人覺得這個演講內(nèi)容其實很簡單，只是對Kinect能夠獲取的相關(guān)數(shù)據(jù)源，Kinect SDK處理過了的可供識別的數(shù)據(jù)源，以及未來的趨勢和大家做了一下介紹。Kinect SDK中其實沒有太多的東西，真正的則在于各種模式識別算法，比如通過深度數(shù)據(jù)，紅外數(shù)據(jù)，進(jìn)行各種物體識別等等，有了這些數(shù)據(jù)，尤其是1.6版本的SDK提供的獲取紅外原始數(shù)據(jù)，就可以通過這個數(shù)據(jù)，結(jié)合深度數(shù)據(jù)做出很多非常令人驚嘆的應(yīng)用來。廢話不多說了，下面和大家分享一下該演講的主要內(nèi)容，也算是一個關(guān)于Kinect開發(fā)的比較好的入門介紹吧。
一 大綱
演講大體分為5個部分，第一部分介紹了Kinect SDK的開發(fā)方式以及運行環(huán)境，第二部分是寫代碼，講解Kinect中的一些彩色，深度，骨骼等數(shù)據(jù)的處理和顯示，第三部分講解了傳感器直接產(chǎn)生的數(shù)據(jù)流，包括彩色，深度，紅外，語音，加速器數(shù)據(jù)源，第四部分講解了經(jīng)過Kinect SDK對原始數(shù)據(jù)流處理后的可供用來進(jìn)行直接識別的，骨骼，語音及面部識別數(shù)據(jù)源，最后一部分講解了未來Kinect可進(jìn)行的一系列應(yīng)用�，F(xiàn)在先來看第一部分吧。
二 Kinect應(yīng)用場景及開發(fā)環(huán)境
首先介紹了一下Kinect的應(yīng)用場景。主要有三大類方面的應(yīng)用。第一是自然人機交互界面。比如說一些像少數(shù)派報告中的那種用手指非接觸即可操縱大屏幕上的顯示內(nèi)容。這在一些高科技或者科幻類電影中經(jīng)常能夠看到這類的場景。還有一些就是在國外已經(jīng)有的應(yīng)用如Kinect虛擬試衣間，Kinect車展演示廣告，Kinect 手術(shù)室影像操作，還有Kinect操作幻燈片，Kinect進(jìn)行照片瀏覽 等等，這些自然人機交互界面的應(yīng)用帶來了新的用戶體驗。第二種是自然環(huán)境識別，比如根據(jù)Kinect 產(chǎn)生的深度數(shù)據(jù)，紅外數(shù)據(jù)對物體進(jìn)行三維掃描重建，利用Kinect進(jìn)行機器人導(dǎo)航進(jìn)行障礙物自動回避等。第三種是自然用戶的識別，比如說利用Kinect來進(jìn)行姿勢識別，人臉識別。比如說一些大家比較熟悉的XBOX360 中的 舞林大會，運動會，大冒險等體感游戲，這些都是利用Kinect的一些數(shù)據(jù)來進(jìn)行用戶的動作識別，從而參與到游戲中的互動。還有一些增強現(xiàn)實的應(yīng)用，利用了上面的三個方面的特性，比如說利用Kinect來將熒幕變成觸摸屏，并在上面可以進(jìn)行各種操作，等等應(yīng)用。
要開發(fā)上面的應(yīng)用，首先要了解一下開發(fā)環(huán)境，如這張幻燈片所示：
Kinect 提供了非托管(C++)和托管(.NET)兩種開發(fā)方式的SDK，如果您用C++開發(fā)的話，需要安裝Speech Runtime(V11)，Kinect for Windows Runtime和驅(qū)動的，如果您使用C#和VB.NET的話，需要Microsoft.Kinect.dll和Mirosoft.Speech.dll兩個dll，這兩個其實是對前C++里面的兩個dll的.NET封裝，不論何種開發(fā)，您都需要安裝driver，所有這些都包含在Kinect SDK安裝包中，安裝方法您可以參考之前的文章。Kinect開發(fā)支持Windows7/Windows Embedded Standard/Windows8操作系統(tǒng)，最新的1.6版本的SDK還支持虛擬機里面的Windows系統(tǒng)，不過只要年代不太久遠(yuǎn)的Windows系統(tǒng)應(yīng)該都是可以的。上面寫的最好使用.NET 4.0/4.5也只是建議，老版本的應(yīng)該也行。如果是使用.NET開發(fā)方式的話，您需要安裝.NET Framework，IDE可以使用Visual Studio 2010/2012。
三 代碼演示
這部分主要是通過編寫代碼演示Kinect的各項功能，代碼我在這里就不講了。
首先第一個演示是顯示彩色影像，比較簡單。然后是結(jié)合深度影像數(shù)據(jù)顯示彩色影像數(shù)據(jù)上對應(yīng)某一點的深度值。
圖上使用鼠標(biāo)點擊就能夠加上一個標(biāo)簽，標(biāo)簽里面的值是該點的深度值，這個功能應(yīng)該是比較好實現(xiàn)的，主要是展示如何使用彩色影像數(shù)據(jù)和深度數(shù)據(jù)，您如果感興趣的話看完這篇文章應(yīng)該就能實現(xiàn)這個功能。
然后演示了骨骼追蹤功能，圖中追蹤了頭部，雙手的位置，并顯示了兩只手所處的深度值，頭部上顯示的Tracking ID，Kinect能同時追蹤6個待選目標(biāo)，但只有兩個目標(biāo)處于活動狀態(tài)。每一次追蹤都會分配給目標(biāo)一個Tracking ID。
這個功能主要演示了如何使用骨骼數(shù)據(jù)，您如果感興趣的話看完這篇文章應(yīng)該就能實現(xiàn)這個功能。
除了1.5及之前能夠提供的各種數(shù)據(jù)之外，1.6 的SDK提供了紅外影像數(shù)據(jù)，您可以利用數(shù)據(jù)校準(zhǔn)彩色影像數(shù)據(jù)，使得在較暗的條件下也能夠進(jìn)行人物識別。其實Kinect骨骼識別主要是通過深度數(shù)據(jù)來實現(xiàn)的，而深度數(shù)據(jù)是通過紅外發(fā)射接收產(chǎn)生的，1.6版本的SDK提供了我們直接訪問和操作紅外數(shù)據(jù)的能力。
第四個Demo是演示了Kinect的面部識別功能，Kinect的面部識別是在1.5 SDK中引入的，面部識別可以識別最多達(dá)一百多個面部特征點，下面是演示的Demo：
上面的功能在Kinect Developer Toolkit中有實例和源代碼，您可以下載查看，入門的話，您也可以看這篇文章，比較簡單的對使用FaceTracking的一點介紹。
Kinect除了這些功能之外還有強大的語音識別功能，在這篇演講中沒有演示出來，不過在Super-Natural Interaction這篇演講的視頻中，您可以體會該改功能的強大，Kinect語音識別不僅能夠識別出聲音，而且還能對聲音的來源方向進(jìn)行識別，且具有強大的去噪增強功能，要了解這些你可以看這篇文章，對Kinect的語音識別做了一些簡單的介紹。
四 Kinect數(shù)據(jù)源及應(yīng)用
Kinect開發(fā)涉及到的數(shù)據(jù)源分為兩類：
一類是傳感器本身產(chǎn)生的原始數(shù)據(jù)源，比如說彩色影像數(shù)據(jù)源，深度影像數(shù)據(jù)源，語音數(shù)據(jù)源，紅外影像數(shù)據(jù)源，加速計數(shù)據(jù)源，其中紅外影像數(shù)據(jù)源，加速計數(shù)據(jù)源是在1.6的SDK中新加入的。下面這張圖很好的說明了各個數(shù)據(jù)源：
第二類數(shù)據(jù)源是，SDK中通過一些算法識別出來的可以直接拿來進(jìn)行識別的數(shù)據(jù)源，他們包括：骨骼追蹤，語音識別，面部識別數(shù)據(jù)源。
可以看到，骨骼追蹤數(shù)據(jù)源是在深度影像數(shù)據(jù)源的再通過一系列算法實現(xiàn)的，語音識別是通過語音數(shù)據(jù)源再通過一系列算法實現(xiàn)的，而面部識別則綜合了彩色影像、深度影像和骨骼追蹤為系列數(shù)據(jù)源的再通過一系列算法實現(xiàn)的。這些功能都是通過SDK來實現(xiàn)的。
有了這些數(shù)據(jù)源，就能夠進(jìn)行各種應(yīng)用了：
典型的應(yīng)用有綠屏摳像，這個功能在一些電視節(jié)目錄制，比如天氣預(yù)報節(jié)目中都是應(yīng)用的這個實現(xiàn)的，他把任務(wù)從背景中分離出來，然后可以隨意的更換背景，這個功能用到了影像數(shù)據(jù)和深度數(shù)據(jù)，你可以參考這篇文章，里面有一個簡單的例子。第二個應(yīng)用是產(chǎn)生點陣云，就是通過Kinect的深度影像數(shù)據(jù)產(chǎn)生每個點的位置信息然后生成三維模型。如下面這個例子：
圖中左邊是通過Kinect的深度影像數(shù)據(jù)產(chǎn)的三維建模圖像。
第三個應(yīng)用是魔鏡功能，我覺得應(yīng)該是一些類似哈哈鏡效果或者是IOS中的Photo Booth應(yīng)用，主要用到了彩色影像數(shù)據(jù)，面部識別，骨骼識別等功能。還有一些就是虛擬試衣間這樣的功能，最后的一個應(yīng)用場景就是各種NUI交互界面了。
五 展望
除了以上的幾種典型的數(shù)據(jù)源之外，還展示了下一步的計劃，比如說針對景深數(shù)據(jù)進(jìn)行進(jìn)一步處理的Kinect Fusion數(shù)據(jù)源。
下面是演示的例子：圖中，右邊桌子上擺放了一個茶壺，然后利用Kinect對該茶壺進(jìn)行了三維建模，然后。移除右邊實物茶壺后，用戶可以對虛擬的茶壺進(jìn)行各種操作，神奇吧，這些都是下一個版本或者是將來的SDK能夠方便我們或者簡化我們實現(xiàn)這些功能準(zhǔn)備添加的功能。
到最后展望了下一步要進(jìn)行的工作：
可以看出Kinect的愿景是使得計算機能夠看到、聽到、能夠更加理解周圍的人和環(huán)境。
Kinect SDK的版本發(fā)布是很快的，自從今年二月份發(fā)布了Kinect Sensor for Windows 體感儀及Kinect for Windows SDK 1.0官方版本以來；5月21日 發(fā)布了1.5版本SDK以及1.5的Developer Toolkit及調(diào)試工具Kinect Studio 1.5，不久又發(fā)布了Developer Toolkit 1.5.1及Developer Toolkit 1.5.2；10月9日發(fā)布了1.6版本的SDK和Developer ToolKit，同時宣布正式在大陸開售Kinect Sensor for Windows體感儀。每一個版本都增加了一些新的功能。相信下一個版本的SDK 也會有新的功能加入。
相信大家看了這個演講之后應(yīng)該可以感受到Kinect帶來的變化，也相信以后Kinect開發(fā)能應(yīng)用到日常生活中的例子會越來越多。
最后，希望大家有空到Channel9上看真人演講哦，上面還有很多有意思主題演講，所有演講的屁屁踢都可以在線看，視頻都提供下載，當(dāng)您不確定那個演講想不想看時，可以看看下面的在線屁屁踢哦，當(dāng)然除了那種900多M的變態(tài)屁屁踢之外其他的都可以在線瀏覽，這樣您就可以迅速的了解演講內(nèi)容以及對該內(nèi)容有沒有興趣啦。
文章內(nèi)容轉(zhuǎn)載自：深入理解Kinect for Windows開發(fā)
喜歡 
頂
難過
囧
圍觀
無聊
