-4-機器學習的實時AR自我表達增加現(xiàn)實（AR）通過在物理世界之上疊加數(shù)字內(nèi)容和信息，關心您完成所看到的內(nèi)容。例如，進入Google地圖的AR功能可讓您找到掩蓋現(xiàn)實世界的方向。增加現(xiàn)實（AR）通過在物理世界之上疊加數(shù)字內(nèi)容和信息，關心您完成所看到的內(nèi)容。例如，進入Google地圖的AR功能可讓您找到掩蓋現(xiàn)實世界的方向。使用PlaygroundPixel相機中的創(chuàng)意模式您可以使用AR以不同方式查看世界。借助最新版本的YouTubeStories和ARCore的全新AugmentedFacesAPI，您可以為自己的自拍添加動畫面具，眼鏡，3D帽子等物品！

使這些AR功能成為可能的關鍵挑戰(zhàn)之一是將虛擬內(nèi)容正確地錨定到現(xiàn)實世界中;這個過程需要一套獨特的感知技術，能夠跟蹤每個微笑，皺眉或傻笑的高動態(tài)表面幾何外形。

我們的3D網(wǎng)格及其實現(xiàn)的一些效果

為了實現(xiàn)這一切，我們采納機器學習（ML）來推斷近似的3D表面幾何外形以實現(xiàn)視覺效果，只需要一個攝像機輸入而無需專用的深度傳感器。這種方法供應了實時速度的AR效果，使用TensorFlowLite進行移動CPU推理或其可用的新移動GPU功能。此技術與YouTubeStories的新創(chuàng)作效果相同，并且通過最新的ARCoreSDK版本和MLKitFaceContourDetectionAPI也可供更廣泛的開發(fā)人員社區(qū)使用。

自拍AR的ML管道

我們的ML管道由兩個一起工作的實時深度神經(jīng)網(wǎng)絡模型組成：一個在整個圖像上運行并計算面部位置的探測器，以及在這些位置上運行并通過回歸猜測近似表面幾何的通用3D網(wǎng)格模型。精確地裁剪面部可以大大削減對共同數(shù)據(jù)增加的需求，例如由旋轉(zhuǎn)，平移和比例變化組成的仿射變換。相反，它允許網(wǎng)絡將其大部分容量用于坐標猜測精確?????度，這對于實現(xiàn)虛擬內(nèi)容的正確錨定至關重要。

一旦感愛好的位置被裁剪，網(wǎng)格網(wǎng)絡一次僅應用于單個幀，使用窗口平滑以便在面部靜止時削減噪聲，同時避開在顯著移動期間滯后。

對于我們的3D網(wǎng)格，我們采納了傳遞學習并訓練了一個具有多個目標的網(wǎng)絡：網(wǎng)絡同時猜測合成，渲染數(shù)據(jù)上的3D網(wǎng)格坐標和解釋的真實世界數(shù)據(jù)上的2D語義輪廓，類似于MLKit供應的。由此產(chǎn)生的網(wǎng)絡為我們供應了合理的3D網(wǎng)格猜測，不僅在合成上，而且在現(xiàn)實世界數(shù)據(jù)上。全部模型都接受來自地理上不同數(shù)據(jù)集的數(shù)據(jù)培訓，隨后在平衡，多樣化的測試集上進行測試，以獲得定性和定量性能。

3D網(wǎng)格網(wǎng)絡接收裁剪的視頻幀作為輸入。它不依靠于額外的深度輸入，因此它也可以應用于預先錄制的視頻。該模型輸出3D點的位置，以及在輸入中存在并合理對齊的面部概率。一種常見的替代方法是猜測每個地標的2D熱圖，但它不適合深度猜測，并且對于這么多點具有高計算成本。

我們通過迭代引導和細化猜測來進一步提高模型的精確?????性和魯棒性。這樣我們就可以將我們的數(shù)據(jù)集增長到越來越具有挑戰(zhàn)性的案例，例如鬼臉，斜角和遮擋。數(shù)據(jù)集增加技術還擴展了可用的地面實況數(shù)據(jù)，開發(fā)了模型對相機缺陷或極端光照條件等工件的彈性。

硬件定制推理

我們使用TensorFlowLite進行設備上的神經(jīng)網(wǎng)絡推理。新推出的GPU后端加速可在可用的狀況下提升性能，并顯著降低功耗。此外，為了涵蓋廣泛的消費類硬件，我們設計了各種具有不同性能和效率特性的模型架構(gòu)。較輕的網(wǎng)絡最重要的區(qū)分是殘余塊布局和可接受的輸入辨別率（最輕的模型中為128128像素，而最簡單的模型中為256256）。我們還轉(zhuǎn)變了層數(shù)和子采樣率（輸入辨別率隨網(wǎng)絡深度減小的速度）。

每幀的推理時間：CPU與GPU

這些努力的最終結(jié)果是通過以下方式為用戶體驗在YouTube，ARCore和其他客戶中供應令人信服的，逼真的自拍AR效果：

●通過環(huán)境映射模擬光反射，實現(xiàn)眼鏡的逼真渲染

●通過將虛擬對象陰影投射到面網(wǎng)格上來實現(xiàn)自然光照

●對面部遮擋建模以隱蔽面部后面的虛擬對象部分，例如虛擬眼鏡，如下圖所示。

YouTubeStories包括基于3D網(wǎng)格的逼真虛擬眼鏡等創(chuàng)效果

此外，我們通過以下方式實現(xiàn)高度逼真的妝效：

●建模在嘴唇和嘴唇上應用的鏡面反射

●通過使用亮度感知材料進行面部繪畫

案例討論將不同光照條件下5個主題的真實化