Determined

Determined:深度学习训练平台。「Determined: Deep Learning Training Platform」

Github星跟蹤圖

Determined:深度学习训练平台

Determined 是一个开源的深度学习训练平台,它使构建模型变得快速而简单。

Determined 使你能够:

  • 使用最先进的分布式训练更快地训练模型,而不需要改变你的模型代码
  • 利用来自 Hyperband 公司的高级超参数调整,自动找到高质量的模型
  • 通过智能调度从你的 GPU 中获得更多,并通过无缝使用可抢占的实例削减云 GPU 成本
  • 通过开箱即用的实验跟踪功能来跟踪和重现你的工作,包括代码版本、指标、检查点和超参数。

Determined 将这些功能整合到一个易于使用的高性能深度学习环境中 -- 这意味着你可以将时间用于构建模型,而不是管理基础设施。

为了使用 Determined,你可以继续使用流行的 DL 框架,如 TensorFlow 和 PyTorch;你只需要更新你的模型代码,以便与 Determined API 集成。

在本地试用 Determined

按照 这些说明 来安装和设置 docker。

# 在本地启动一个 Determined 集群。
python3.7 -m venv ~/.virtualenvs/test
. ~/.virtualenvs/test/bin/activate
pip install determined
# 要启动一个有 GPU 的集群,请删除 `no-gpu` 标志。
det deploy local cluster-up --no-gpu
# 在 localhost:8080 访问网络用户界面。默认情况下,"determined" 用户接受空白密码。
# 导航到一个 Determined 例子。
git clone https://github.com/determined-ai/determined
cd determined/examples/computer_vision/cifar10_pytorch
# 提交作业,在单个节点上训练一个单一的模型。
det experiment create const.yaml .

详细的安装指南

请参阅 我们的安装指南,了解如何安装 Determined,包括在 AWS 和 GCP 上的细节。

现在就在AWS上试用

现在就试

接下来的步骤

关于使用 Determined 的简要介绍,请查看我们的 快速入门指南

要在 Determined 中使用现有的深度学习模型,请按照你喜欢的深度学习框架的教程进行操作。

文档

最新版本的 Determined 的文档总是可以在 这里 找到。

社区

如果你需要帮助,想提交错误报告,或者只是想了解关于 Determined 的最新信息,请加入 Determined 社区

Slack 是询问关于 Determined 的问题和获得支持的最佳场所。点击这里 加入我们的 Slack Slack。

你也可以加入 社区的邮件列表,询问关于项目的问题并接收公告。

要报告一个错误,请在 GitHub 上 提交一个问题

要报告一个安全问题,请发邮件到 security@determined.ai。

贡献

贡献者指南

许可证

Apache V2

主要指標

概覽
名稱與所有者determined-ai/determined
主編程語言Go
編程語言Dockerfile (語言數: 14)
平台Amazon AWS, Docker, Google Cloud Platform, Kubernetes, Linux, Mac
許可證Apache License 2.0
所有者活动
創建於2020-04-07 16:12:29
推送於2025-03-20 19:09:46
最后一次提交
發布數649
最新版本名稱v0.38.1 (發布於 )
第一版名稱v0.12.0 (發布於 )
用户参与
星數3.1k
關注者數82
派生數365
提交數8.4k
已啟用問題?
問題數389
打開的問題數39
拉請求數8379
打開的拉請求數63
關閉的拉請求數1417
项目设置
已啟用Wiki?
已存檔?
是復刻?
已鎖定?
是鏡像?
是私有?

Determined: Deep Learning Training Platform

Determined is an open-source deep learning training platform that makes building
models fast and easy. Determined enables you to:

  • Train models faster using state-of-the-art distributed training, without
    changing your model code
  • Automatically find high-quality models with advanced hyperparameter tuning
    from the creators of Hyperband
  • Get more from your GPUs with smart scheduling and cut cloud GPU costs by
    seamlessly using preemptible instances
  • Track and reproduce your work with experiment tracking that works
    out-of-the-box, covering code versions, metrics, checkpoints, and
    hyperparameters

Determined integrates these features into an easy-to-use, high-performance deep
learning environment — which means you can spend your time building models
instead of managing infrastructure.

To use Determined, you can continue using popular DL frameworks such as
TensorFlow and PyTorch; you just need to update your model code to integrate
with the Determined API.

Try out Determined Locally

Follow these instructions to install and set up docker.


# Start a Determined cluster locally.
python3.7 -m venv ~/.virtualenvs/test
. ~/.virtualenvs/test/bin/activate
pip install determined
# To start a cluster with GPUs, remove `no-gpu` flag.
det deploy local cluster-up --no-gpu
# Access web UI at localhost:8080. By default, "determined" user accepts a blank password.

# Navigate to a Determined example.
git clone https://github.com/determined-ai/determined
cd determined/examples/computer_vision/cifar10_pytorch

# Submit job to train a single model on a single node.
det experiment create const.yaml .

Detailed Installation Guide

See our installation guide for details on how to install Determined, including on AWS and GCP.

Try Now on AWS

Try Now

Next Steps

For a brief introduction to using Determined, check out our
Quick Start Guide.

To use an existing deep learning model with Determined, follow the
tutorial for your preferred deep learning framework:

Documentation

The documentation for the latest version of Determined can always be found
here.

Community

If you need help, want to file a bug report, or just want to keep up-to-date
with the latest news about Determined, please join the Determined community!

Contributing

Contributor's Guide

License

Apache V2