豐色發自凹非寺量子位報道|公眾號QbitAI很多3D人體模型都很強大，但總是難免“裸奔”。像要創造出真正的人類“化身”模型，衣服和頭發不可或缺。但這些元素的精確3D數據非常稀少，還很難獲得。來自三星AI中心（莫斯科）等團隊的技術人員一直致力

豐色 發自 凹非寺量子位 報道 | 公眾號 QbitAI

很多3D人體模型都很強大，但總是難免“裸奔”。

像要創造出真正的人類“化身”模型，衣服和頭發不可或缺。

但這些元素的精確3D數據非常稀少，還很難獲得。

來自三星AI中心（莫斯科）等團隊的技術人員一直致力于此方面的研究，最終他們開發出這樣一個模型：

生成的3D人，穿著原本的衣服、發量發型也都毫無保留地呈現。

乍一看，“跟真人似的”。

更棒的是，無需模特示范，模型還可以“舉一反三”，擺出各種POSE！

效果是這樣子的：

該模型被命名為StylePeople。

來看看具體怎么搞的吧！

神經裝扮模型（The neural dressing model）

其實，不止是“裸奔”，很多三維人體模型還很“死板”：模特擺什么姿勢模型就跟著擺什么。

就像此前，利用隱函數來生成的三維人體模型能夠高度還原模特的著裝和發型了，但是人物姿勢依然不夠變通，只能從原模特的幾個特定視角生成。

ps.也是該團隊的研究成果

所以在為3D人體模型還原衣服顏色、褶皺和發型的同時，也要保證人物的姿勢可以“舉一反三”。

為此研究人員采用將多邊形實體網格建模與神經紋理相結合的方法。

多邊形網格負責控制和建模粗糙的人體幾何姿勢，而神經渲染負責添加衣服和頭發。

首先他們設計了一個神經裝扮模型（The neural dressing model），該模型結合了可變形網格建模與神經渲染，如下圖所示。

最左列表示被可視化的前三個PCA組件。

第2、3列為在用SMPL-X建模的人體網格上疊加“人型化身”的紋理（texture）。

第4、5列為使用渲染網絡光柵化渲染出的結果。

可以優雅地處理出寬松的衣服和長頭發以及復雜的穿衣結構！

接下來，基于上面的神經裝扮模型，研究人員造出能生成“Fullbody”的3D人體模型。

最終的生成架構是StyleGANv2和神經裝扮的結合。

StyleGAN部分使用反向傳播算法生成神經紋理，然后將其疊加在SMPL-X網格上，并使用神經渲染器進行渲染。

在對抗性學習中，判別器將每一對圖像看為同一個人。

提高了視頻和少量圖像生成3D人類模型的技術水平

在對神經裝扮這一方法的效果驗證中，研究人員首先評估了基于視頻素材的3D模型生成結果。

效果如文章開頭所展示的圖像，左邊是示例源幀，其余的圖像是左邊視頻人物的“化身”。在簡單的增強現實程序做的背景下，呈現出了模特先前并沒有擺過的各種姿勢。

接下來，對基于小樣本圖像素材的神經裝扮效果進行評估。

研究人員使用僅兩個人的People Snapshot數據集將他們的神經裝扮方法與其他各種方法（如360Degree等，見表）進行比較。

衡量生成的模型質量的指標包括LPIPS（感知相似度）、SSIM（結構相似性）、FID（真實樣本與生成樣本在特征空間之間的距離）、和IS（清晰度與多樣性得分）。

結果顯示了他們的方法在所有指標上都占有優勢，

除了IS以外，但影響不大，因為它與視覺質量的相關性最小。

最后，該團隊表示，他們這個模型的生成效果（如下圖）仍然受到目前樣本數據規模和質量的限制，今后工作重點是提高該模型的數據利用率。

有興趣的同學可以持續關注該團隊的研究進展。

參考鏈接：

[1]https://arxiv.org/abs/2104.08363

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態