InternScenes 包含约 40,000 个多样化场景和 196 万个 3D 物体，涵盖 15 种常见场景类型和 288 个物体类别，规模约为现有数据集的 10 倍。
现有 3D 场景数据集通常面临以下问题：
- 多样性或可仿真性有限
- 布局过于简化，缺少小物体
- 严重的物体碰撞问题
InternScenes 集成了多种场景，特别保留了小物体以实现复杂布局，解决了碰撞问题，并进一步加入了交互式物体，确保了：
- 大规模：40,000 个多样化场景，包含 196 万个 3D 物体，涵盖 288 个物体类别。
- 真实布局：保留大量小物体，严格对齐真实世界扫描场景。
- 交互性：20% 的交互式物体，涵盖 16 种常见类型，如橱柜、微波炉、烤箱和冰箱。
- 3D 场景重建
- 3D 场景理解
- 场景布局生成
- 具身导航
- 便捷高效的场景渲染脚本；
- 详细的物体语义信息；
- 统一格式和坐标系的场景布局；
- 多样化的具身导航轨迹。
关于数据集的使用，请参阅教程。
2025/07InternScenes-Real2Sim v1.0 发布。
- 克隆此仓库。
git clone https://github.com/InternRobotics/InternScenes.git
cd InternScenes- 创建环境并安装基本依赖。
conda create -n internscenes python=3.10 -y
conda activate internscenes
pip install -r requirements.txt- （可选）安装 Isaac-Sim 4.1.0 以渲染 *.usd 文件和转换 *.glb 文件。
# 确保你的 conda 环境已激活。
pip install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu118
pip install isaacsim==4.1.0 isaacsim-extscache-physics==4.1.0 isaacsim-extscache-kit==4.1.0 isaacsim-extscache-kit-sdk==4.1.0 --extra-index-url https://pypi.nvidia.com请参阅数据指南了解数据下载与组织方式。
InternScenes 使用两类数据：
- Real2Sim 布局数据：
data/Layout_info/{dataset}/{scan_id}/保存场景结构网格和layout.json标注。完整目录结构和布局格式请参阅 Real2Sim 数据指南。 - 轨迹与渲染数据：
trajectory_tools从data/source/{dataset}/part{part}/{usd}_usd/读取 USD 场景资产，使用data/env/中的渲染资源，并将轨迹、缓存和渲染结果写入output/。详情请参阅轨迹与渲染数据和轨迹工具。
我们提供了一个简单的教程在此，作为数据集可视化和基本用法的指南。欢迎尝试并提出建议！
关于生成相机轨迹和在 Isaac Sim 中渲染场景，请参阅轨迹工具。
- 发布 InternScenes-Real2Sim。
- 发布各场景的轨迹和渲染脚本。
- 发布论文。
- 完善 InternScenes-Real2Sim 构建代码。
- 完善 InternScenes-Synthetic 构建代码。
- 发布 InternScenes-Synthetic。
@inproceedings{InternScenes,
title={InternScenes: A Large-scale Interactive Indoor Scene Dataset with Realistic Layouts},
author={Zhong, Weipeng and Cao, Peizhou and Jin, Yichen and Li, Luo and Cai, Wenzhe and Lin, Jingli and Lyu, Zhaoyang and Wang, Tai and Dai, Bo and Xu, Xudong and Pang, Jiangmiao},
year={2025},
booktitle={arXiv},
}
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
- EmbodiedScan：我们检索的场景基于 EmbodiedScan 的标注，其中包含大量小物体的 9-DoF 边界框。
- InternUtopia（前身为 GRUtopia）：本仓库中部分高质量 3D 资产文件（*.usd）来源于此。
- Hunyuan3D-2.1：部分 3D 资产的纹理由该模型生成。
- HSSD：精选了该项目中的物体资产用于构建我们的资产库。
- PartNet-Mobility：精选了该项目中的物体资产用于构建我们的资产库。
- Objaverse：精选了该项目中的物体资产用于构建我们的资产库。