裸眼3D效果的實(shí)踐之路杭州2025.3.8狄清樂狄清樂（悲鴻）di.dql@alibaba-2僅憑肉眼將平面二維圖片或視頻看出三維立體的效果。而普遍意義上的裸眼3D技術(shù)是指通過雙目的視差來實(shí)現(xiàn)。裸眼3D的視覺效果，是一種視覺欺騙，這種效果主要是通過“出框”來實(shí)現(xiàn)的。也稱為出框效果。接下來的部分將主要討論“裸眼3D視覺效果”的實(shí)現(xiàn)。微信朋友圈的裸眼3D出框視頻賦能品牌廣告。調(diào)研發(fā)現(xiàn)，炫酷的創(chuàng)意樣式更容易得到品牌廣告主的青睞。成都太古里商圈里的大屏幕裸眼3D微信朋友圈的裸眼3D出框視頻賦能品牌廣告。調(diào)研發(fā)現(xiàn)，炫酷的創(chuàng)意樣式更容易得到品牌廣告主的青睞。Youneedalittlebitofbasicknowledgeingraphics,butit'sokayifyoudon'thaveanybecausethere'sDeepseek.截獲系統(tǒng)播放器視頻流，由圖形管線接管渲染流VideoFramesMediaPlayer截獲系統(tǒng)播放器視頻流，由圖形管線接管渲染流VideoFramesMediaPlayerCommandStreamVertexProcessingVertexProcessingTransformedGeometryRasterizationRasterizationFragmentProcessingFragmentProcessingBlendingBlendingGraphicspipeline通過接管視頻幀渲染流程，使用Shader逐像素對(duì)視頻幀進(jìn)行處理，達(dá)到裸眼3D的視覺效果。逐像素處理逐像素處理逐像素處理逐像素處理一分為二裸眼3D視頻幀用于取色用于計(jì)算逐像素處理逐像素處理通過xz+yz<rz來計(jì)算采樣像素的采納與否來繪制圓角。當(dāng)圓角半徑現(xiàn)實(shí)理想現(xiàn)實(shí)理想場(chǎng)景卡視頻區(qū)域在Shader的處理上需引入“抗鋸齒”算法進(jìn)行反走樣處理。會(huì)增加每個(gè)像素處理的計(jì)算量，經(jīng)驗(yàn)證，對(duì)性能的影響微乎其微。傅里葉變換傅里葉變換頻域（FrequencyDomain頻域（FrequencyDomain）（SpatialDomain）逆傅里葉變換高通濾波鋸齒–空間采樣錯(cuò)誤低通濾波鋸齒–空間采樣錯(cuò)誤低通濾波通過先模糊再采樣的方式可以有效抗鋸齒，而模糊是一種周圍像素對(duì)某個(gè)像素求平均的結(jié)果，可以使用卷積來實(shí)現(xiàn)，例如選擇一個(gè)3×3的卷積核。119111119111111111125%75%50%25%75%50%100%裸眼3D視頻在播放結(jié)束后，會(huì)通過動(dòng)畫的形式縮放到場(chǎng)景卡的“第一個(gè)坑位”，但使用系統(tǒng)原生動(dòng)A動(dòng)畫縮放AA1A1裸眼裸眼3D視頻動(dòng)畫中間態(tài)一坑廣告位橫屏播放態(tài)（7.25秒）一段動(dòng)畫態(tài)（0.5秒）小屏播放態(tài)（2秒）二段動(dòng)畫態(tài)（0.25秒）一段動(dòng)畫yyvyyvuA·回=x第一種采樣方式在動(dòng)畫結(jié)束時(shí)，丟失了較多的主體信息。第二種雖uA·回=xxz\zw一次z\zw一次△X△XVertex=A·Vertex動(dòng)畫插值器（線性/非現(xiàn)性）引入自動(dòng)化配置進(jìn)行視頻CDN預(yù)熱、展位預(yù)加載、視頻后處理來提高投放效APIAdapterOpenGLES3.0/Metal/Other引入自動(dòng)化配置進(jìn)行視頻CDN預(yù)熱、展位預(yù)加載、視頻后處理來提高投放效APIAdapterOpenGLES3.0/Metal/OtherEventSpiritTransformerEffectAnimationScheduleSceneCacheDownloaderPipeline3DPlayerRenderEngineArchitectureManagerStorageRenderer裸眼3D端到端投放鏈路Client（首頁業(yè)務(wù)）3D3DPlayer搭建后臺(tái)Server搭建后臺(tái)預(yù)加載展位投放展位首頁業(yè)務(wù)（*/homepage預(yù)加載展位投放展位運(yùn)營(yíng)供給服務(wù)投放后臺(tái)投放管理預(yù)加載計(jì)劃配置視頻處理投放管理預(yù)加載計(jì)劃配置投放前端裸眼3D的素材制作成本高，是制約客戶投放的關(guān)鍵卡點(diǎn)，需要尋找AlphaAlpha通道視頻.mp4準(zhǔn)確率約為60%~70%，因此粗摳之后需要對(duì)素材進(jìn)行二次的人摳圖工具效果對(duì)比中高20元/分鐘低視覺同學(xué)借助AE（AdobeAfterEffects）進(jìn)行摳圖，然后生成包含Alpha通道的視AE提供了可交互的主體物識(shí)別和逐幀對(duì)象跟裸眼3D視頻幀的制作需要同時(shí)滿足圖像分割和物品跟蹤。圖像分割領(lǐng)域最理單幀圖像。videoobjecttracking/segmention領(lǐng)域經(jīng)典的SiamMaskSiamMask算法SiamMaskSiamMask分割可見，SiamMask的分割效果不能滿足商用要求。裸眼3D對(duì)比SiamMask方案，采用了SAM+VOT實(shí)現(xiàn)視頻主體物可交互標(biāo)記及跟蹤分割的技術(shù)方案，實(shí)現(xiàn)裸眼3D素材的制作。在具體實(shí)際案例投放中，該方案的摳圖效果達(dá)到替代人工二次精修的水平。SiamMask算法?問題1：能否同時(shí)從兩個(gè)視頻力取幀？?問題3：框?yàn)槭裁床蛔鲈谝曨l幀上？?問題2：視頻能否是左alpha+右rgb的？?問題4：業(yè)界的其他方案？TTTT TTTTTTTTTT T T TTTTTTTTask1Task2Task3Task3Task4Task5Task6TaskTTTT TTTTTTTTTT T T TTTTTTTTask1Task2Task3Task3Task4Task5Task6Task7Task8Task92k4TTTT Task6 T Task7Task8T kkT T TTTaskTask1Task6Task2Task7Task3Task8Task4TaskTask11TaskTask22TaskTask334Task4Task4TaskTask55TaskTask66TaskTask7 8Task8Task89Task9Task9Task20Task21Task22Task23Task24Task25Task26Task27Task28Task29Task30Task31Task32SPH算法（SmoothedParticleHydrodynamics）是基于粒子模擬中最常用、簡(jiǎn)單的算法，最初提出于天體物理學(xué)領(lǐng)域，然后被廣泛的應(yīng)用到計(jì)算流體力學(xué)領(lǐng)域，成為基于拉格朗日粒子模擬方法的典型代表。簡(jiǎn)單說即某個(gè)粒子的物理量