GraphPipe

机器学习模型的部署变得简单。(Machine Learning Model Deployment Made Simple.)

  • 所有者: oracle/graphpipe
  • 平台: Docker, Linux, Mac, Windows
  • 許可證: Other
  • 分類:
  • 主題:
  • 喜歡:
    0
      比較:

Github星跟蹤圖

GraphPipe

机器学习模型部署变得简单。

它是什么?

GraphPipe 是一种协议和软件集合,旨在简化机器学习模型的部署,并将其与特定于框架的模型实现解耦。

现有的模型服务解决方案不一致,或者效率低下。与这些模型服务器通信没有一致的协议,因此常常需要为每个工作负载构建自定义客户端。GraphPipe 通过标准化有效的通信协议,并为主要 ML 框架提供简单的模型服务器,解决了这些问题。

我们希望开源 GraphPipe 能够使服务于 landscape 的模型变得更加友好。详细了解我们为何在此处构建它。

或者浏览其余文档

特性

  • 一个基于 flatbuffers 的极简机器学习传输规范。
  • 简单、高效的 Tensorflow, Caffe2, 和 ONNX 参考模型服务器。
  • 使用 Go、Python 和 Java 实现高效的客户端。

这个存储库中有什么?

这个 repo 包含文档以及 flatubuffer 定义文件,其他特定于语言的 repos 使用这些文件。如果您正在寻找 GraphPipe 客户端、服务器和示例代码,请查看我们的其他 GraphPipe repos:

构建 flatbuffer 定义

如果你已经安装了flatc,你可以完成所有操作但是如果你不想安装它,你可以导出USE_DOCKER = 1然后全部完成。 (请记住,make需要vars导出,而不仅仅是在运行make的命令行上)。 如果你已经安装了 flatc,你可以完成所有操作;但是如果你不想安装它,你可以 export USE_DOCKER=1,然后 make all。(记住,make 需要 exported vars,而不仅仅是在命令行上运行 make )。

这将生成 go、c 和 python 库,然后可以将它们分别复制到他们的项目 graphpipe-go、graphpipe-tf-py 和 graphpipe-py 中。

贡献

所有 GraphPipe 项目都是开源的。 要了解如何贡献,请参阅 CONTRIBUTING.md

您也可以通过我们的 Slack 频道与我们聊天。

(First edition: vz edited at 2019.08.22)

主要指標

概覽
名稱與所有者oracle/graphpipe
主編程語言Makefile
編程語言Makefile (語言數: 1)
平台Docker, Linux, Mac, Windows
許可證Other
所有者活动
創建於2018-06-27 18:31:23
推送於2018-10-16 22:55:22
最后一次提交2018-10-16 15:56:31
發布數1
最新版本名稱v1.0.0 (發布於 2018-08-16 16:25:31)
第一版名稱v1.0.0 (發布於 2018-08-16 16:25:31)
用户参与
星數718
關注者數52
派生數103
提交數29
已啟用問題?
問題數13
打開的問題數12
拉請求數4
打開的拉請求數1
關閉的拉請求數2
项目设置
已啟用Wiki?
已存檔?
是復刻?
已鎖定?
是鏡像?
是私有?

GraphPipe

Machine Learning Model Deployment Made Simple

What is it?

GraphPipe is a protocol and collection of software designed to simplify machine
learning model deployment and decouple it from framework-specific model
implementations.

The existing solutions for model serving are inconsistent and/or inefficient.
There is no consistent protocol for communicating with these model servers so
it is often necessary to build custom clients for each workload. GraphPipe
solves these problems by standardizing on an efficient communication protocol
and providing simple model servers for the major ML frameworks.

We hope that open sourcing GraphPipe makes the model serving landscape a
friendlier place. See more about why we built it
here.

Or browse the rest of the documentation.

Features

  • A minimalist machine learning transport specification based on flatbuffers
  • Simple, efficient reference model servers for Tensorflow, Caffe2, and ONNX.
  • Efficient client implementations in Go, Python, and Java.

What is in this repo?

This repo contains documentation as well as the flatubuffer definition files
that are used by other language specific repos. If you are looking for
GraphPipe clients, servers, and example code, check out our other GraphPipe
repos:

Building flatbuffer definitions

If you've got flatc installed you can just make all but if you don't want
to install it, you can export USE_DOCKER=1 and then make all. (Remember,
make needs vars exported, not just on the command-line where you run make).

This will produce the go, c, and python libraries, which can then be copied
into their projects graphpipe-go, graphpipe-tf-py, and graphpipe-py,
respectively.

Contributing

All of the GraphPipe projects are open source. To find out how to contribute
see CONTRIBUTING.md

You can also chat us up on our Slack Channel.