作者 | ZeR0編輯 | 漠影
將3D資產一鍵生成、一鍵換皮膚、一鍵變動畫，還有一鍵生成3D游戲視頻，此刻，騰訊混元3D創(chuàng)作引擎通通做到了！
智東西1月21日報告，今日，騰訊混元宣布開源3D生成大模型2.0版，并上線業(yè)界首個一站式、低門檻3D AI創(chuàng)作引擎「混元3D創(chuàng)作引擎」，為普通用戶UGC和游戲等專業(yè)場景供給一款有效的3D內容生產工具。
混元3D創(chuàng)作引擎包括三層架構，設計目的是用AI覆蓋3D管線多個環(huán)節(jié)，打造功能最全的3D AI創(chuàng)作平臺：
（1）模型層：基于3D-DiT和3D-Paint基本模型；
（2）能力層：含3D功能矩陣+3D生成工作流+3D創(chuàng)作素材庫；
（3）應用層：供給可低成本定制的業(yè)務場景處理方法。
混元3D基本模型同期支持文生3D和圖生3D，幾何結構精細度提高，紋理色彩豐富，支持紋理風格選取與PBR貼圖。
3D功能矩陣瞄準3D創(chuàng)作管線，供給豐富的生成和編輯3D資產能力，包含草圖生3D、3D風格化、3D紋理生成、3D名人生成、3D小游戲創(chuàng)作等。
靈感廣場擺設了3D模型素材庫，右上方可選不同場景類目（游戲道具、名人角色、商品、動植物等）。點擊素材后，用戶能夠點擊下載或創(chuàng)作同款3D模型。
用該平臺生成的3D模型，支持經過鏈接形式分享給好友，并支持在PC端、移動端進行模型預覽、交互及下載。
體驗直通車：https://3d.hunyuan.tencent.com/
當前游戲制作、社交、電商宣傳、工業(yè)制造、具身智能、自動駕駛、AR/VR、三維打印等行業(yè)都積極應用AI能力輔助3D內容生成?；煸?D生成大模型此前已起始應用于游戲、社交、騰訊地圖、騰訊云、設備人等騰訊內部業(yè)務。
以游戲業(yè)務為例，AI生成3D模型對游戲開發(fā)增效功效顯著，能夠減少美術成本和時間成本。傳統(tǒng)流程制作單角色模型需要花費6~100天，而AI生成單角色模型的時長僅分鐘級。
騰訊混元3D模型已全面開放+開源：面向企業(yè)、個人研發(fā)者供給商用品質的3D開源模型，為設備人仿真、自動駕駛等行業(yè)供給數據燃料；降低3D資產的生成周期、成本，推動3D普及。
混元還為研究學者供給更大的3D基本模型，加速科研探索，并從企業(yè)界的新視角，幫科研者尋找有價值的科研方向。
混元3D模型2.0開源主頁：https://3d-models.hunyuan.tencent.com/
代碼倉庫：https://github.com/Tencent/Hunyuan3D-2/
1、支持文/圖生3D，能模擬逼真材質
混元3D創(chuàng)作引擎同期支持文生3D和圖生3D。用戶能夠結合3D風格化、渲染打光、骨骼綁定&動作驅動等3D模型編輯工具能力，調節(jié)模型效果。
文生3D模式供給了預設prompt和prompt指南。輸入提示詞后能一次生成4個模型，可選取區(qū)別紋理風格（包含卡通、中國風、青花瓷、石雕、賽博朋克等）。
倘若選取圖生3D模式，則能夠經過上傳單圖來生成3D模型。
據介紹，混元近期將推出經過多視圖生成3D模型的功能，以實現更高的可控性。
兩種模式均支持PBR貼圖，可經過模擬理學特性，生成逼真的模型材質效果。
另外，創(chuàng)作引擎支持端到端低多邊形模型生成。生成結果能夠在低面片的基本上最大化表現模型細節(jié)，拓撲布線更加符合美術標準，更適用于游戲引擎模型渲染。
其首個支持端到端生成低多邊形low-poly模型，可按照物體繁雜程度，自適應生成幾百至數千面的三角mesh，在面數更低的同期可保準模型細節(jié)效果。
2、花式應用玩法：簡筆畫秒變3D、白模一鍵換皮、自制Q版玩偶
創(chuàng)作引擎的“實驗室”頁面供給了3D動畫生成、3D紋理生成、3D名人生成、草圖生3D、3D小游戲創(chuàng)作等應用，做為3D模型應用的展示模塊。
（1）草圖生3D：上傳線稿草圖或選取草圖素材，輸入紋理、顏色等特性的文本描述，就可一鍵將二維草圖轉換成高質量的3D模型。
（2）3D紋理生成：上傳3D模型或選取預置白模，輸入文字指令或照片，該功能就能“一鍵換皮膚”，生成與上傳模型或白模幾何一致的高清紋理貼圖，還能選取生成PBR材質貼圖。
（3）3D動畫生成：上傳模型或選取預置模型，AI就會對生成3D角色模型實現自動綁骨蒙皮。用戶能夠選取區(qū)別的動作模版，讓3D模型動起來。
（4）3D名人生成：上傳名人圖像，選取角色模版，該功能就能生成符合個性化的3D名人角色，實現個人UGC 3D形象定制。
（5）3D小游戲創(chuàng)作：上傳一張頭像，選取角色模版，一鍵生成個人專屬IP角色的游戲動畫視頻，并支持分享轉發(fā)。
還有一個混元3D特殊功能——面向專業(yè)用戶的3D生成工作流，經過模塊化節(jié)點設計，實現單點功能串聯，供給預設的工作流模版、工作流編輯器、工作臺管理能力，幫忙專業(yè)用戶在游戲研發(fā)、動畫制作等行業(yè)快速搭建3D生成工作流。
其供給的工作流模版類型多樣，有文/圖生3D角色、文/圖生3D道具，能夠滿足區(qū)別業(yè)務場景的需要。用戶僅需加載模版，按照自己的需要輸入提示詞或上傳照片，調節(jié)節(jié)點生成參數，就能一鍵生成擁有特定風格或特征的3D資產。
這為專業(yè)用戶供給了更方便、更有效、更低門檻的3D創(chuàng)作工具。
3、混元3D生成大模型2.0全面開源：升級幾何結構、紋理色彩
工業(yè)界3D模型多為閉源。去年11月全面開源的混元3D生成大模型1.0，是業(yè)界最早的端到端3D大模型之一，亦是業(yè)界首個同期支持文字、圖像生成3D的開源大模型。
2.0版本依然同期支持文、圖生3D，是業(yè)界最早一批3D-DiT原生大模型，并經過將幾何、紋理解耦生成，幾何結構更加精細，紋理色彩更加豐富。從下圖能夠看到，2.0版本的生成效果顯著提高：
3D生成模型重點包含幾何和紋理生成兩部分。幾何大模型專注于捉捕物體的形狀、結構和空間關系，紋理大模型則專注于顏色、細節(jié)和表面特征。
這種專注性使得每一個模型能在其行業(yè)內進行更深入的學習和優(yōu)化，而幾何與紋理解耦生成的方式，讓整體生成能力達到更高上限，能夠生成更為精細和真實的3D結果。
幾何大模型和紋理大模型各自表現優(yōu)異。其中，幾何大模型由Hunyuan3D-DiT模型和Hunyuan ShapeVAE構成，能實現超高精度的白模生成，幾乎達到了設計師手工建模的水平。
紋理大模型Hunyuan3D-Paint則采用多視圖擴散生成的方法，能夠基于用戶輸入的參考圖像對生成的幾何白模進行紋理貼圖，還能支持對用戶任意輸入的幾何模型進行任意文本或圖像引導的紋理生成。
騰訊混元從定量和定性兩個維度進行了評定，在收集的In-the-wild測試集上，對3D生成質量進行了定量評定。
按照CLIP Maximum Mean Discrepancy（CMMD）、Frechet Inception Distance（FID）、CLIP-score指標，不論是端到端最后3D資產的質量，還是幾何模型生成的幾何結構以及紋理基本模型生成紋理的質量，Hunyuan3D-2.0的整體表現均優(yōu)于當前業(yè)界包含閉源模型在內的先進模型。
▲整體模型比較
▲幾何模型比較
▲紋理模型比較
在定性評定方面，從整體滿意度、3D物體質量、指令遵循三個維度進行用戶主觀評定，結果表示，Hunyuan3D-2.0在生成質量上優(yōu)于當前最先進的開源模型。
▲用戶愛好打分
▲3D生成可視化比較
▲幾何模型生成可視化比較
▲紋理結果生成可視化比較
結語：將來將更加多面向應用標準而開發(fā)
騰訊混元3D負責人郭春超談道，混元3D生成大模型從1.0版本的率先開源，到快速升級2.0版本并開放業(yè)界首個一站式3D AI創(chuàng)作平臺，期盼切實幫忙公眾興趣者、研發(fā)者、創(chuàng)作者們降低運用門檻，提高創(chuàng)作效率，讓3D大模型技術在各行各業(yè)發(fā)揮價值。
3D創(chuàng)作門檻很高，純手工制作既貴又慢。其中3D制作管線非常繁雜，運轉觸及6大項、超過30個環(huán)節(jié)，觸及幾何、紋理、布線、骨骼等多種模態(tài)，況且各環(huán)節(jié)前后依賴，對3D建模專業(yè)知識需求高。僅有基本模型遠遠不足。
針對3D基本模型而言，加強可控性、可用性都是當務之急，數據不足亦是掣肘模型發(fā)展的一大挑戰(zhàn)。日前此類模型的技術趨勢包含構建有效3D暗示、探索3D-DiT架構上限以及探索3D生成新范式。
學術3D生成技術與制作管線存在差異大的問題。基模接入管線需要深度思慮語義，觸及重拓撲、UV展開、骨骼綁定與驅動等海量開發(fā)工作。
據介紹，混元將來將更加多面向應用標準而開發(fā)，真正兼容3D管線需要。同期，混元亦會連續(xù)為開源社區(qū)貢獻力量。
