Visionary 是一个开源的 Web 实时渲染平台,被设计为“世界模型载体”(World Model Carrier)。它旨在统一重建式和生成式神经渲染范式,利用 WebGPU 和 ONNX Runtime,在浏览器中实现高性能的 3D/4D Gaussian Splatting (3DGS) 及神经头像渲染。
项目亮点
Visionary 让复杂的高质量 3D 渲染任务在浏览器中即点即跑,无需安装额外软件,显著降低了复现和部署 3DGS 家族方法的门槛。
核心功能
-
高性能渲染
利用 WebGPU 技术,实现数百万高斯粒子(Gaussian particles)的并行排序和渲染,在网页端保证流畅的实时交互体验。
-
混合渲染
支持 高斯点云 与传统 3D 网格 (Mesh) 的结合。通过深度合成(Depth Compositing)技术,完美处理遮挡关系,适用于复杂场景构建。
-
神经推理与生成
集成 ONNX Runtime,支持每帧实时的神经处理。可应用于动态更新、生成式后处理(如动画、变形)以及 4DGS 和神经头像(Neural Avatars)。对于想深入探索机器学习模型在Web端部署的开发者,可以参考人工智能相关资源。
-
插件式算法架构
标准化的 "Gaussian Generator" 合约,支持用户导出自定义算法(ONNX 格式)并实现“即插即用”的扩展。
-
通用资产加载
支持多种格式:
- 静态高斯:
.PLY, .SPLAT, .KSplat, .SPZ, .SOG
- 3D 网格:
.GLB, .GLTF, .FBX, .OBJ
- 4DGS/头像:
.ONNX 模型
技术栈
该项目架构轻量,强调浏览器原生兼容性,无需服务器端依赖。
| 模块 |
技术选型 |
说明 |
| 核心引擎 |
WebGPU |
下一代图形 API,提供 GPU 加速渲染 |
| 神经计算 |
ONNX Runtime |
Web 端运行机器学习模型的推理引擎 |
| 前端框架 |
three.js |
成熟的 3D 渲染库,用于场景管理 |
| 开发语言 |
TypeScript |
提供强类型的 API 接口,提升开发效率。前端开发中,TypeScript的应用日益广泛。 |
| 环境依赖 |
Node.js v18+ |
依赖包管理与开发环境构建 |
快速上手指南
1. 环境准备
确保您的计算机上安装了 Node.js (v18 或更高版本)。Node.js 是现代Web开发的重要基础,更多内容可查看Node.js相关文档。
2. 安装步骤
# 克隆项目仓库
git clone https://github.com/Visionary-Laboratory/visionary.git
# 进入项目目录
cd visionary
# 安装依赖
npm install
3. 启动项目
# 启动本地开发服务器
npm run dev
4. 体验 Demo
启动成功后,浏览器访问以下地址即可查看示例场景:
👉 http://localhost:3000/demo/simple/index.html
提示:您可以直接加载示例资产,或导入自定义模型。若需实现动态效果,请参考 onnx-export/README.md 将训练好的模型转换为 ONNX 格式。
兼容性与建议
由于 WebGPU 尚处于普及阶段,为了获得最佳性能和体验,建议如下配置:
- 推荐浏览器: Google Chrome (最新版)
- 推荐系统: Windows
- 硬件要求: 建议使用独立显卡 (Discrete GPU)
- 已知问题: Ubuntu 和 macOS 系统目前可能存在兼容性限制或性能瓶颈。
相关资源
|