南大与复旦等高校合作推出的高分辨率3D生成框架Direct3D-S2

Direct3D-S2是什么

Direct3D-S2 是南京大学、DreamTech、复旦大学和牛津大学的研究人员共同推出的高分辨率 3D 生成框架，基于稀疏体积表示和创新的空间稀疏注意力（SSA）机制，大幅提升扩散变换器（DiT）的计算效率，显著降低训练成本。框架包含全端到端的稀疏 SDF 变分自编码器（SS-VAE），用对称编码器-解码器结构，支持多分辨率训练，支持在 1024³ 分辨率下用 8 个 GPU 进行训练。Direct3D-S2 在生成质量和效率上均超越现有方法，为高分辨率 3D 内容创作提供强大的技术支持。

Direct3D-S2的主要功能

高分辨率3D形状生成：从图像生成高分辨率的3D形状，支持高达1024³的分辨率，生成的3D模型具有精细的几何细节和高视觉质量。
高效的训练与推理：显著提高扩散变换器（DiT）的计算效率，降低训练成本。在1024³分辨率下仅需8个GPU进行训练。
图像条件的3D生成：支持基于图像的条件生成，根据输入图像生成与之对应的3D模型。

Direct3D-S2的技术原理

空间稀疏注意力（SSA）机制：将输入token按3D坐标分块，基于稀疏3D卷积和池化操作提取块级全局信息，减少token数量，提高计算效率。根据压缩模块的注意力分数，选择重要的块进行细粒度特征提取，进一步优化计算资源的使用。基于局部窗口操作注入局部特征，增强局部特征交互，提高生成质量。基于预测的门控分数聚合三个模块的输出，生成最终的注意力结果。
稀疏SDF变分自编码器（SS-VAE）：用稀疏3D卷积网络和Transformer网络相结合的方式，将高分辨率稀疏SDF体积编码为稀疏潜在表示，基于解码器重建SDF体积。在训练过程中随机采样不同分辨率的SDF体积，提高模型对不同分辨率数据的适应能力，增强训练效率和泛化能力。
图像条件的扩散变换器（SS-DiT）：从输入图像中提取稀疏前景token，减少背景token的干扰，提高生成的3D模型与输入图像的一致性。基于条件流匹配（CFM）训练模型，预测从噪声样本到数据分布的速度场，实现高效的3D形状生成。