一、前言

? ? ? ? 騰訊于2024年11月5日正式開源了最新的MoE模型“混元Large”以及混元3D生成大模型“Hunyuan3D-1.0”，支持企業(yè)及開發(fā)者在精調(diào)、部署等不同場景下的使用需求。

GitHub - Tencent/Hunyuan3D-1

二、技術(shù)與原理

? ? ? ? Hunyuan3D-1.0 是一款支持文本生成3D（Text-to-3D）和圖像生成3D（Image-to-3D）的統(tǒng)一框架，旨在提升3D生成的速度和質(zhì)量。該模型采用兩階段方法：

1. 多視角擴散模型：在約4秒內(nèi)高效生成多視角RGB圖像，捕捉3D資產(chǎn)的豐富細(xì)節(jié)。

2. 前饋重建模型：在約7秒內(nèi)根據(jù)生成的多視角圖像快速重建3D資產(chǎn)，處理多視角生成中的噪聲和不一致性，恢復(fù)3D結(jié)構(gòu)。

? ? ? ? 該框架集成了騰訊自研的文本生成圖像模型“Hunyuan-DiT”，支持文本和圖像條件的3D生成。標(biāo)準(zhǔn)版本的參數(shù)量是輕量版和其他現(xiàn)有模型的3倍，平衡了生成速度和質(zhì)量，顯著減少了生成時間，同時保持了生成資產(chǎn)的質(zhì)量和多樣性。

三、主要特性

• 雙模式支持：同時支持文本和圖像輸入，滿足不同的3D生成需求。

• 高效生成：在NVIDIA A100 GPU上，輕量版模型約10秒生成3D網(wǎng)格，標(biāo)準(zhǔn)版約25秒。

• 開源計劃：提供推理、檢查點、烘焙相關(guān)、訓(xùn)練、ComfyUI、蒸餾版本和TensorRT版本的開源支持，方便開發(fā)者使用和二次開發(fā)。

四、使用方法

1. 環(huán)境配置：建議使用Python 3.9和CUDA 11.7以上版本?？赏ㄟ^提供的env_install.sh腳本進行環(huán)境安裝。

2. 模型下載：從Hugging Face下載預(yù)訓(xùn)練模型，包括輕量版、標(biāo)準(zhǔn)版和稀疏視角重建模型。

3. 推理：提供了文本生成3D和圖像生成3D的推理腳本，可根據(jù)需求進行配置。

4. Gradio界面：提供了基于Gradio的Web界面，方便用戶進行交互式操作。

五、當(dāng)前瓶頸

? ? ? ? 盡管Hunyuan3D-1.0在生成速度和質(zhì)量上取得了顯著進展，但仍存在以下挑戰(zhàn)：

• 生成質(zhì)量的提升：在復(fù)雜場景或細(xì)節(jié)豐富的對象上，生成的3D模型可能存在細(xì)節(jié)缺失或不準(zhǔn)確的情況，需要進一步優(yōu)化模型以提升生成質(zhì)量。

• 多樣性與泛化能力：模型在處理多樣化輸入時的泛化能力有待增強，特別是在處理未見過的輸入或復(fù)雜場景時，可能無法生成高質(zhì)量的3D模型。

• 計算資源需求：盡管生成速度有所提升，但在高分辨率或復(fù)雜場景下，仍需要大量計算資源，限制了模型的實際應(yīng)用范圍。

六、教程漢化

1. 開始安裝

首先，克隆倉庫并進入項目目錄：

git clone https://github.com/tencent/Hunyuan3D-1 cd Hunyuan3D-1

2. 環(huán)境配置（適用于Linux）

項目提供了 env_install.sh 腳本來配置環(huán)境，建議使用 Python 3.9 和 CUDA 11.7 以上版本。

安裝步驟：

conda create -n hunyuan3d-1 python=3.9 conda activate hunyuan3d-1 bash env_install.sh

安裝 xformers 或 flash_attn 來加速計算

pip install xformers --index-url https://download.pytorch.org/whl/cu121
pip install flash_attn

先前已經(jīng)創(chuàng)建好？

如果先前已經(jīng)創(chuàng)建好環(huán)境，直接激活進入即可

conda activate hunyuan3d-1-py311

先前已經(jīng)創(chuàng)建好但是忘記了？

conda env list

這個命令將列出系統(tǒng)中所有的 Python 版本和 Conda 虛擬環(huán)境

檢查環(huán)境是否切換成功，pip是否對應(yīng)虛擬環(huán)境

which pip

3. 下載預(yù)訓(xùn)練模型

預(yù)訓(xùn)練模型可以從 Hugging Face 獲取：https://huggingface.co/spaces/tencent/Hunyuan3D-1

提供以下三種模型：

• Hunyuan3D-1/lite：輕量版模型，用于多視角生成。
• Hunyuan3D-1/std：標(biāo)準(zhǔn)版模型，用于多視角生成。
• Hunyuan3D-1/svrm：稀疏視角重建模型。

下載模型的步驟：

1.首先安裝 Hugging Face CLI 工具：

python3 -m pip install "huggingface_hub[cli]"

2.下載模型文件：

mkdir weights huggingface-cli download tencent/Hunyuan3D-1 --local-dir ./weights mkdir weights/hunyuanDiT huggingface-cli download Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled --local-dir ./weights/hunyuanDiT

4. 推理生成

文本生成3D

支持中英文輸入，可以使用以下命令進行文本生成3D：

python3 main.py \ --text_prompt "a lovely rabbit" \ --save_folder ./outputs/test/ \ --max_faces_num 90000 \ --do_texture_mapping \ --do_render

圖像生成3D

使用以下命令進行圖像生成3D，將 /path/to/your/image 替換為圖像路徑：

python3 main.py \ --image_prompt "/path/to/your/image" \ --save_folder ./outputs/test/ \ --max_faces_num 90000 \ --do_texture_mapping \ --do_render

5. 常用參數(shù)配置

參數(shù)	默認(rèn)值	描述
--text_prompt	None	文本提示，用于3D生成
--image_prompt	None	圖像路徑，用于3D生成
--t2i_seed	0	文本生成圖像的隨機種子
--t2i_steps	25	文本生成圖像的采樣步數(shù)
--gen_seed	0	3D生成的隨機種子
--gen_steps	50	3D生成的采樣步數(shù)
--max_faces_num	90000	3D網(wǎng)格的最大面數(shù)限制
--save_memory	False	文生圖將自動移至CPU
--do_texture_mapping	False	將頂點陰影更改為紋理陰影
--do_render	False	是否渲染GIF

6. 預(yù)設(shè)腳本

項目還提供了以下快捷腳本來幫助用戶快速執(zhí)行不同配置的任務(wù)：

bash scripts/text_to_3d_demo.sh # 文本生成3D的示例腳本 bash scripts/text_to_3d_fast_demo.sh # 快速文本生成3D的示例腳本 bash scripts/image_to_3d_demo.sh # 圖像生成3D的示例腳本 bash scripts/image_to_3d_fast_demo.sh # 快速圖像生成3D的示例腳本

注意：運行這些示例腳本通常需要約40GB的顯存。

7. 使用 Gradio 進行交互操作

項目提供了基于 Gradio 的 Web 界面，方便用戶進行交互式操作。

• 標(biāo)準(zhǔn)版（更好的生成效果）：

python3 app.py

• 輕量版（更快的生成速度）：

python3 app.py --use_lite

運行后，可通過 http://0.0.0.0:8080 訪問Web界面。請將 0.0.0.0 替換為您的服務(wù)器IP地址。

8. 攝像機參數(shù)

輸出視圖固定為一組攝像機姿勢，默認(rèn)視角設(shè)置如下：

• 方位角 （相對于輸入視角）
• Azimuth? (relative to input view)：0度，60度，120度，180度，240度，300度。

七、Gradio界面使用教程

?Text to 3D

1. Text to 3D功能介紹

• Text to 3D：將輸入的文字描述轉(zhuǎn)換為3D模型。

2. 輸入選項

• Input text：輸入描述3D模型的文字。例如，“一只黑白相間的熊貓在白色背景上居中坐著，呈現(xiàn)出卡通風(fēng)格和可愛氛圍”。這會生成一個符合描述的3D模型。

3. 參數(shù)設(shè)置

• T2I seed：用于文字轉(zhuǎn)圖像的隨機種子。數(shù)值的變化會導(dǎo)致生成的圖像略有不同。默認(rèn)值為 0，但如果結(jié)果不理想，可以嘗試更改此值。
• T2I step：生成文字到圖像時的步數(shù)。步數(shù)越多，生成的圖像質(zhì)量可能越高，但生成時間也會更長。默認(rèn)值是 25。
• Gen seed：用于圖像到3D模型的隨機種子。默認(rèn)值為 0，但如果結(jié)果不滿意，可以更改此值。
• Gen step：生成3D模型時的步數(shù)，數(shù)值越高生成的細(xì)節(jié)可能越多，默認(rèn)是 50。
• Max number of faces：控制生成3D模型的面數(shù)。默認(rèn)值是 90000，較高的面數(shù)會帶來更精細(xì)的模型，但處理速度可能會變慢。

4. 導(dǎo)出選項

• Texture mapping：勾選后，生成的3D模型會包含紋理貼圖，更加逼真。
• Render gif：勾選后，會導(dǎo)出一個 .gif 動態(tài)圖片，展示3D模型的多角度視圖。

5. 輸出格式

• Multi views：多角度視圖預(yù)覽。
• Obj：生成 .obj 格式的3D模型文件。
• Glb：生成 .glb 格式的3D模型文件，適合Web應(yīng)用。
• GIF：導(dǎo)出 .gif 動態(tài)圖片，展示模型的360度視圖。
• rembg image：移除背景圖像。

Image to 3D

1. Image to 3D功能介紹

• Image to 3D：將輸入的圖像轉(zhuǎn)換為3D模型。您可以上傳一張圖像（例如某個物體的圖片），系統(tǒng)將嘗試生成相應(yīng)的3D模型。

2. 輸入選項

• Input image：在這里上傳要轉(zhuǎn)換為3D模型的圖像。

3. 參數(shù)設(shè)置

• Gen seed：用于生成3D模型的隨機種子。數(shù)值的變化會影響生成的模型略有不同。如果對結(jié)果不滿意，可以更改這個值（默認(rèn)是 0）。
• Gen step：生成3D模型時的步數(shù)，數(shù)值越高，生成的模型可能更精細(xì)，默認(rèn)是 50。
• Max number of faces：控制生成3D模型的面數(shù)。默認(rèn)值是 90000，較高的面數(shù)可以帶來更細(xì)致的模型，但處理速度可能變慢。

4. 導(dǎo)出選項

• Texture mapping：勾選后，生成的3D模型會包含紋理貼圖，使模型更真實。
• Render gif：勾選后，會導(dǎo)出一個 .gif 文件，以動態(tài)方式展示生成的3D模型。

5. 輸出格式

• rembg image：移除圖像的背景。
• Multi views：展示生成的3D模型的多角度視圖。
• Obj：導(dǎo)出為 .obj 格式的3D模型文件。
• Glb：導(dǎo)出為 .glb 格式的3D模型文件，更適合Web應(yīng)用。
• GIF：導(dǎo)出 .gif 動態(tài)文件，展示模型的多角度視圖。