nuScenes devkit

nuScenes 数据集的 devkit。(The devkit of the nuScenes dataset.)

Github stars Tracking Chart

nuScenes devkit

欢迎使用 nuScenes 数据集的 devkit。

变更日志

  • 2020年7月7日:Devkit v1.0.9:地图和预测代码的其他更新。
  • 2020年4月1日:Devkit v1.0.8:放宽点数要求并重组预测代码。
  • 2020年3月24日:Devkit v1.0.7:nuScenes预测挑战代码发布。
  • 2020年2月12日:Devkit v1.0.6:发布了CAN总线扩展。
  • 2019年12月11日:Devkit v1.0.5:从AMOTA跟踪指标中删除权重因子。
  • 2019年11月1日:发布了跟踪评估代码,并重新组织了检测评估代码。
  • 2019年7月1日:发布地图扩展。
  • 2019年4月30日:Devkit v1.0.1:放宽了PIP要求,完善了检测挑战,导出了2d注释脚本。
  • 2019年3月26日:发布了完整的数据集,论文和devkit v1.0.0。已取消对预告片数据的支持。
  • 2018年12月20日:发布了初始评估代码。重新构建了Devkit文件夹,这破坏了向后兼容性。
  • 2018年11月21日:雷达过滤和多扫描聚合。
  • 2018年10月4日:解析RADAR数据的代码发布。
  • 2018年9月12日:发布了预告片数据集的开发套件。

数据集下载

要下载 nuScenes,您需要转到下载页面,创建一个帐户并同意 nuScenes 使用条款。登录后,您将看到多个档案。为了使 devkit 正常工作,您需要下载所有档案。请将档案解压缩到 /data/sets/nuscenes 文件夹中,而不能覆盖多个档案中存在的覆盖文件夹。最终,您应该具有以下文件夹结构:

/data/sets/nuscenes
    samples    -    关键帧的传感器数据。
    sweeps    -    中间帧的传感器数据。
    maps    -    所有地图文件的文件夹:光栅化的 .png 图像和矢量化的 .json 文件。
    v1.0-*    -    包含所有元数据和注释的 JSON 表。每个拆分(训练,测试,迷你)都在单独的文件夹中提供。

如果要使用另一个文件夹,请指定 NuScenes 类的 dataroot 参数(请参阅教程)。

预测挑战

2020年3月,我们发布了 nuScenes 预测挑战赛的代码。开始:

  • 下载地图扩展的 1.2 版(请参见下文)。
  • 此处下载 CoverNet 的轨迹集。
  • 进行预测教程
  • 有关如何对提交内容进行评分的信息,请访问挑战网站

CAN 总线扩展

2020年2月,我们发布了 CAN 总线扩展。它包含有关车辆路线、IMU、姿态、转向角反馈、电池、制动器、档位、信号、轮速、油门、扭矩、太阳能传感器、里程表等的低级车辆数据。要安装此扩展,请按照下列步骤操作:

  • 下载页面下载扩展,
  • 将 can_bus 文件夹移至您的 nuScenes 根目录(例如 /data/sets/nuscenes/can_bus)。
  • 获取最新版本的 nuscenes-devkit。
  • 如果您已经有了 devkit 的早期版本,请更新 pip 要求(请参阅详细信息):pip install -r setup/requirements.txt
  • 开始使用 CAN 总线自述文件或教程。

地图扩展

在2019年7月,我们发布了包含11个语义层(人行横道,人行道,交通信号灯,停车线,车道等)的地图扩展。要安装此扩展,请按照下列步骤操作:

  • 下载页面下载扩展,
  • 将 .json 文件移动到 nuScenes 地图文件夹。
  • 获取最新版本的 nuscenes-devkit。
  • 如果您已经有了 devkit 的早期版本,请更新 pip 要求(请参阅详细信息):pip install -r setup/requirements.txt
  • 开始使用地图扩展教程

Devkit 设定

devkit 已针对 Python 3.6 和 Python 3.7 进行了测试。要安装 Python,请在此处检查。

我们的 devkit 可用,可以通过 pip 安装:

pip install nuscenes-devkit

对于高级安装,请参阅安装以获取详细说明。

入门

请按照以下步骤操作,以使自己熟悉 nuScenes 数据集:

jupyter notebook $HOME/nuscenes-devkit/python-sdk/tutorials/nuscenes_basics_tutorial.ipynb

已知的问题

在对 nuScenes 数据集进行整理时,人们非常小心,许多用户都称赞了数据和注释的质量。然而,一些小问题仍然存在:

地图:
  • 对于 singapore-hollandvillage 和 singapore-queenstown,交通信号灯3d姿势均为0(tz除外)。
  • 对于 boston-seaport,3个场景(499、515、517)的自我姿势略有不正确,而2个场景(501、502)的自我姿势在带注释的区域之外。
  • 对于 singapore-onenorth 来说,大约10个场景的自我姿势不在驾驶表面上。在地图v1.1中已解决此问题。
注释:
  • 尽管对象暂时被遮挡,但仍会注释少量3d边界框。因此,我们确保在 nuScenes 基准测试中过滤没有激光雷达或雷达点的物体。请参阅issue 366

引文

引用 nuScenes 时,请使用以下引用:

@article{nuscenes2019,
  title={nuScenes: A multimodal dataset for autonomous driving},
  author={Holger Caesar and Varun Bankiti and Alex H. Lang and Sourabh Vora and 
          Venice Erin Liong and Qiang Xu and Anush Krishnan and Yu Pan and 
          Giancarlo Baldan and Oscar Beijbom},
  journal={arXiv preprint arXiv:1903.11027},
  year={2019}
}


(The first version translated by vz on 2020.07.25)

Main metrics

Overview
Name With Ownernutonomy/nuscenes-devkit
Primary LanguagePython
Program languageJupyter Notebook (Language Count: 4)
PlatformLinux, Mac, Windows
License:Other
所有者活动
Created At2018-09-06 19:04:28
Pushed At2024-12-12 08:40:01
Last Commit At2024-12-12 16:40:01
Release Count17
Last Release Name1.1.3 (Posted on )
First Release Namev0.1.9 (Posted on )
用户参与
Stargazers Count2.5k
Watchers Count51
Fork Count665
Commits Count234
Has Issues Enabled
Issues Count829
Issue Open Count14
Pull Requests Count287
Pull Requests Open Count9
Pull Requests Close Count27
项目设置
Has Wiki Enabled
Is Archived
Is Fork
Is Locked
Is Mirror
Is Private

nuScenes devkit

Welcome to the devkit of the nuScenes dataset.

Overview

Changelog

  • Feb. 12, 2020: Devkit v1.0.6: CAN bus expansion released.
  • Dec. 11, 2019: Devkit v1.0.5: Remove weight factor from AMOTA tracking metrics.
  • Nov. 1, 2019: Tracking eval code released and detection eval code reorganized.
  • Jul. 1, 2019: Map expansion released.
  • Apr. 30, 2019: Devkit v1.0.1: loosen PIP requirements, refine detection challenge, export 2d annotation script.
  • Mar. 26, 2019: Full dataset, paper, & devkit v1.0.0 released. Support dropped for teaser data.
  • Dec. 20, 2018: Initial evaluation code released. Devkit folders restructured, which breaks backward compatibility.
  • Nov. 21, 2018: RADAR filtering and multi sweep aggregation.
  • Oct. 4, 2018: Code to parse RADAR data released.
  • Sep. 12, 2018: Devkit for teaser dataset released.

Dataset download

To download nuScenes you need to go to the Download page,
create an account and agree to the nuScenes Terms of Use.
After logging in you will see multiple archives.
For the devkit to work you will need to download all archives.
Please unpack the archives to the /data/sets/nuscenes folder *without* overwriting folders that occur in multiple archives.
Eventually you should have the following folder structure:

/data/sets/nuscenes
    samples	-	Sensor data for keyframes.
    sweeps	-	Sensor data for intermediate frames.
    maps	-	Folder for all map files: rasterized .png images and vectorized .json files.
    v1.0-*	-	JSON tables that include all the meta data and annotations. Each split (trainval, test, mini) is provided in a separate folder.

If you want to use another folder, specify the dataroot parameter of the NuScenes class (see tutorial).

CAN bus expansion

In February 2020 we published the CAN bus expansion.
It contains low-level vehicle data about the vehicle route, IMU, pose, steering angle feedback, battery, brakes, gear position, signals, wheel speeds, throttle, torque, solar sensors, odometry and more.
To install this expansion, please follow these steps:

  • Download the expansion from the Download page,
  • Move the can_bus folder to your nuScenes root directory (e.g. /data/sets/nuscenes/can_bus).
  • Get the latest version of the nuscenes-devkit.
  • If you already have a previous version of the devkit, update the pip requirements (see details): pip install -r setup/requirements.txt
  • Get started with the readme or tutorial.

Map expansion

In July 2019 we published a map expansion with 11 semantic layers (crosswalk, sidewalk, traffic lights, stop lines, lanes, etc.).
To install this expansion, please follow these steps:

  • Download the expansion from the Download page,
  • Move the four .json files to your nuScenes maps folder (e.g. /data/sets/nuscenes/maps).
  • Get the latest version of the nuscenes-devkit.
  • If you already have a previous version of the devkit, update the pip requirements (see details): pip install -r setup/requirements.txt
  • Get started with the tutorial.

Devkit setup

The devkit is tested for Python 3.6 and Python 3.7.
To install Python, please check here.

Our devkit is available and can be installed via pip :

pip install nuscenes-devkit

For an advanced installation, see installation for detailed instructions.

Getting started

Please follow these steps to make yourself familiar with the nuScenes dataset:

jupyter notebook $HOME/nuscenes-devkit/python-sdk/tutorial.ipynb

Citation

Please use the following citation when referencing nuScenes:

@article{nuscenes2019,
  title={nuScenes: A multimodal dataset for autonomous driving},
  author={Holger Caesar and Varun Bankiti and Alex H. Lang and Sourabh Vora and 
          Venice Erin Liong and Qiang Xu and Anush Krishnan and Yu Pan and 
          Giancarlo Baldan and Oscar Beijbom},
  journal={arXiv preprint arXiv:1903.11027},
  year={2019}
}