OrionX-Rancher集成指南

Rancher同趋动科技达成战略合作，加速GPU资源池化在Kubernetes中落地

面对Kubernetes使用GPU资源的众多难题，Rancher与趋动科技共同推出了面向Kubernetes的GPU资源池化联合解决方案。Rancher可以同时管理多个Kubernetes集群，用户可以通过其内置的应用市场Catalog开箱即用地将OrionX部署至各个业务集群，OrionX具备专业的GPU池化和虚拟化功能，可以无侵入地整合至Rancher托管的Kubernetes集群当中。最终，用户可以极为方便地在Rancher平台上进行GPU资源调度，从而让工作负载使用OrionX提供的vGPU资源。

1. 使用Rancher中国提供的pandaria-catalog应用商店

OrionX现已集成至Rancher中国的应用市场当中，开源用户可以通过导入pandaria-catalog（https://github.com/cnrancher/pandaria-catalog）获取这一应用，企业用户无需导入即可轻松使用。

Rancher中国企业版使用pandaria-catalog应用商店

Rancher中国企业版已默认集成pandaria-catalog应用商店。请使用v2.3.8-ent以上版本，该版本已经实现了工作负载对OrionX vGPU的支持，运行方式：

sudo docker run -d --restart=unless-stopped -p 80:80 -p 443:443
cnrancher/rancher:v2.3.8-ent

在全局— 工具— 商店设置中，查看应用商店，企业版已经内置了pandaria-catalog，并在其中 内置了OrionX Chart 。如图所示：

可以看到pandaria-catalog已经处于Active激活状态。

进入应用商店，可以看到virtaitech-orion-vgpu应用。如图所示：

Rancher社区版使用pandaria-catalog应用商店

Rancher社区版（https://rancher.com/quick-start/）也可以方便的一键部署：

sudo docker run -d --restart=unless-stopped -p 80:80 -p 443:443 rancher/rancher

但是Rancher社区版并没有默认配置pandaria-catalog应用商店，需要用户手动配置。

1. 进入Global-Apps-Manage Catalogs页面：

   

2. 添加catalog。如图所示，首先点击Add Catalog按钮。填入Catalog URL=https://github.com/cnrancher/pandaria-catalog和Branch=dev/v2.3。名称可以随意设置，范围Scope则最好设置为全局global。

   

3. 此时catalog配置完成，可以去应用商店进行确认。

   

   可以看到virtaitech-orion-vgpu已经出现在应用商店内。

   

2. 环境要求

在部署OrionX之前，客户环境需要满足一定条件：

• 部署OrionX的Kubernetes版本需要>=1.6。OrionX会部署一个专用调度器orion-scheduler，需要Kubernetes v1.6及以上版本支持。具体请参考这里和这里。
• 客户环境需要确保相应硬件的驱动已正确安装，特别是NVidia GPU驱动。如果使用RDMA网卡，还需要确保RDMA驱动已正确安装。
• 容器运行时 containerd 版本号>= 1.3.2。
  • 在GPU节点上安装好了NVidia docker runtime，并且已经设置为默认容器运行时。可以通过kubectl describe node [nodename]来检测节点的容器运行时。
• （关键）OrionX要求所有节点上用于OrionX通信的网卡使用相同名称（例如eth0）。用户务必确保这一前置条件满足，否则Orion Server在没有正确配置网卡名称的节点上无法正确启动。请参考下文常见问题一节。
• （推荐）如果使用Mellanox RDMA网络，需要安装RDMA驱动，以及Mellanox的OFED。

3. 部署OrionX

Rancher中国企业版部署OrionX

1. 选择需要部署的Kubernetes集群和对应Project，点击启动：

   

2. 选择virtaitech-orion-vgpu：

   

3. 在部署表单内对OrionX进行配置。具体配置内容请参考下文配置详情一节。

   

4. Rancher会自动拉取OrionX的所有组件镜像，用户可以在Rancher内查看所有组件的运行状态。

   • 注：新版OrionX只会部署在一个命名空间（namespace）内。

   

   

Rancher社区版部署OrionX

在执行下述步骤之前，请务必参照Rancher社区版使用pandaria-catalog应用商店一节正确配置应用商店。

1. 选择要部署Orion的集群，以及对应的project。选择Apps，点击Launch。

   

2. 选择virtaitech-orion-vgpu。

   

3. 在部署表单内对OrionX进行配置。具体配置内容请参考下文配置详情一节。

   

4. 查看所有OrionX组件的状态。

   

检查节点标签

orion-helper会依据用户配置的Network Interface（例如eth0）自动获取ip地址，并给Kubernetes节点打上标签。可以在集群-Nodes页面查看到节点的标签。所有需要运行orion-server的节点都需要有正确的ORION_BIND_ADDR标签。如下图所示，只有一个节点ip-172-31-43-188正确标识了ORION_BIND_ADDR的值。ORION_BIND_ADDR没有获取到正确的值通常是因为Network Interface（例如eth0）与该节点的网卡名称不匹配导致的。ORION_BIND_ADDR的值未正确设置会在某些情况下影响OrionX的性能。

用户可以通过Rancher上手动修改节点标签，如下图所示：

查看部署相关信息

OrionX部署时使用的相关设置可以在部署后的应用界面查看。相关信息会显示在 Notes（或注释）和Answers（或应答）两栏下，如下图所示：

4. 配置详情

5. 测试

Rancher中国企业版部署使用OrionX客户端

1. 默认情况下，UI中不会启用Orion的支持参数，需要在启用一个特殊Feature。在“全局—系统设置 —功能选项”中，启用virtaitech-gpu-service-ui，如图所示：

   

2. 选择对应的集群和Project，选择资源-工作负载，部署一个工作负载。配置客户端镜像，使用virtaitech/orion-client-2.2:cuda10.1-tf1.14-py3.6-hvd。

   

3. 设置Orion资源环境变量，具体为（请根据实际需求配置）：

   env:
   - name: ORION_VGPU
     value: "1"
   - name: ORION_GMEM
     value: "4096"
   - name: ORION_RATIO
     value: "100"
   # whether the orion resources are revered or will be released after 30s idle.
   # If the value is not set, the resources are reserved by default.
   # Any value other than "1" will NOT reserve the resource.
   - name: ORION_RESERVED
     value: "0"
   - name: ORION_CROSS_NODE
     value: "0"
   - name : ORION_GROUP_ID
     valueFrom:
       fieldRef:
         fieldPath: metadata.uid
   

   各参数含义请参见下文Orion客户端启动配置说明。

   

4. 配置使用orion-scheduler调度器。

   

5. 使用主机IPC命名空间，并申请OrionX GPU资源。

   

6. 待客户端部署完成，可以在Rancher图形界面上进入客户端内执行命令。

   

   例如可以执行：/root/cuda_samples/deviceQuery/deviceQuery。客户端镜像内``/root/cuda_samples`路径下有大量的测试用例供客户使用。

   

Rancher社区版使用OrionX

Rancher社区版缺少对OrionX客户端的一些整合支持。用户可以通过Kubernetes命令行工具部署OrionX的客户端。一个典型的测试yaml文件如下（各参数含义请参见下文Orion客户端启动配置说明）：

# orion-client.yaml
apiVersion: v1
kind: Pod
metadata:
  name: testgpu
spec:
  schedulerName: orion-scheduler
  hostIPC: true
  containers:
  - name: test
    image: virtaitech/orion-client-2.2:cuda10.1-tf1.14-py3.6-hvd
    command: ["sh", "-c", "sleep infinity"]
    # Please make sure these values are properly set
    env:
    - name: ORION_VGPU
      value: "1"
    - name: ORION_GMEM
      value: "4096"
    - name: ORION_RATIO
      value: "100"
    # whether the orion resources are revered or will be released after 30s idle.
    # If the value is not set, the resources are reserved by default.
    # Any value other than "1" will NOT reserve the resource.
    - name: ORION_RESERVED
      value: "0"
    - name: ORION_CROSS_NODE
      value: "0"
    - name : ORION_GROUP_ID
      valueFrom:
        fieldRef:
          fieldPath: metadata.uid
    resources:
      limits:
        # if you have changed Resource Name while deploying Orion services, please change this accordingly
        virtaitech.com/gpu: 1

可以通过kubectl apply -f orion-client.yaml来部署客户端。客户端镜像内``/root/cuda_samples`路径下有大量的测试用例供客户使用。

Orion客户端启动配置说明

进阶说明

• 当ORION_RESERVED=1时，ORION_VGPU实际不生效（但需要设置），实际申请的VGPU资源数量基于spec.containers[].resources.limits.virtaitech.com/gpu。
• 当ORION_RESERVED!=1时，pod调度时申请的资源基于spec.containers[].resources.limits.virtaitech.com/gpu。但如果资源闲置30s被释放后再次使用VGPU资源，则会依据ORION_VGPU(以及其它环境变量)的值申请资源。
• 当一个pod里面有多个container时，OrionX只会满足第一个设置了spec.containers[].resources.limits.virtaitech.com/gpu的container资源申请要求。建议用户使用时只在一个pod里面让一个container申请OrionX资源。

使用示例

TensorFlow CNN Benchmark

在Orion客户端内执行：

# 注意ORION_RESERVED=1时，客户端内修改环境变量不生效
export ORION_VGPU=2
export ORION_GMEM=15000
export ORION_RATIO=100
python3 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py \
            --model resnet50 \
            --batch_size 64 \
            --num_batches 40\
            --num_gpus=2

使用跨节点GPU时可以使用horovod

export ORION_VGPU=4
export ORION_GMEM=15000
export ORION_RATIO=100
export ORION_CROSS_NODE=1
horovodrun -np 4 -H localhost:4 python3 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py \
            --model resnet50 \
            --batch_size 128 \
            --num_batches 400 \
            --variable_update horovod

Jupyter Notebook

# From inside Orion Client container
cd /root
pip3 install notebook
jupyter notebook --ip=0.0.0.0 --no-browser --allow-root

会看到类似于下面的输出：

# Omit output

    To access the notebook, open this file in a browser:
        file:///root/.local/share/jupyter/runtime/nbserver-38-open.html
    Or copy and paste one of these URLs:
        http://lab-0:8888/?token=4507dbe5c542dd570370c2425f14f83f06793da178978558
     or http://127.0.0.1:8888/?token=4507dbe5c542dd570370c2425f14f83f06793da178978558

如果用户可以使用这台机器的图形界面，那么可以打开浏览器，输入所提示地址 127.0.0.1:8888/?token=<token>。

否则，用户可以在安装了浏览器的节点（例如笔记本电脑）上进行 SSH 端口转发：

# On laptop
ssh -Nf -L 8888:localhost:8888 <username@client-machine>

然后在本地浏览器里面输入 127.0.0.1:8888/?token=<token> 地址（将<token>替换成 Jupyter Notebook 所输出的实际 token）访问 Jupyter Notebook。

关于缺乏RDMA网络环境的说明

如果客户环境缺乏RDMA网络，需要手动开启TCP网络的支持（默认为关闭，以避免客户在具有RDMA网络环境下错误的使用TCP网络）。

kubectl exec -it pod/testgpu /bin/bash
vi /etc/orion/client.conf

[log]
    log_with_time = true
    log_to_screen = false
    log_to_file = true
    log_level = INFO
    file_log_level = INFO
# add the following lines
[client]
    enable_net = true

6. 常见问题

• Orion Device Plugin

  • 2020/05/21 06:58:33 Fail to get device list. Retry in 2 seconds ...

    • 该问题通常是由 License Key 设置错误导致。

  • 2020/05/21 06:58:03 Waiting for network interface eth0

    • OrionX要求所有节点上用于OrionX通信的网卡使用相同名称（例如eth0）。用户务必确保这一前置条件满足，否则Orion Server在没有正确配置网卡名称的节点上无法正确启动。

  • Cannot reach orion contoller...

    • 错误的 License Key 会导致controller异常退出. 请与controller容器内部检查相应的日志，日志文件路径为 /root/controller.log.

• Orion Server

  • 2020-05-21 07:02:33 [INFO] Waiting for net eth0 becoming ready ...

    • OrionX要求所有节点上用于OrionX通信的网卡使用相同名称（例如eth0）。用户务必确保这一前置条件满足，否则Orion Server在没有正确配置网卡名称的节点上无法正确启动。

  • Device "ens5" does not exist. Network interface ens5 dose not have a valid IPv4 address.

    • 这里ens5为Network Interface的配置。这条log说明Kubernetes集群中有一个节点没有ens5网卡，导致bind net失败。因此我们要求客户环境内节点使用统一的网卡命名，以便Orion使用。

• Orion Controller

  • /root/controller.log内只有一条日志：level=info msg="read license from license file"
    • 通常由于错误的license导致。请检查复制粘贴到rancher表单的license内容是否正确。

• Orion Monitor

  • time="2020-05-21T06:58:03Z" level=info msg="Starting dcgm-exporter"
    Error: Failed to initialize NVML
    time="2020-05-21T06:58:03Z" level=fatal msg="Error starting nv-hostengine: DCGM initialization error"

    • 在非GPU节点上该错误为正常现象，可以忽略。

• （已知问题）Rancher上部署的OrionX的GUI页面无法正确显示GPU利用率。

在Rancher k3s上快速开始使用OrionX

k3s是经CNCF一致性认证的Kubernetes发行版，专为物联网及边缘计算设计。OrionX可以非常方便的在k3s上部署使用。

环境准备

我们推荐客户使用Docker+NVidia Docker runtime环境来部署使用OrionX+k3s。用户需要

• 在所有节点上安装Docker。安装方法可以参考Docker官方文档。

• 在所有GPU节点上安装好GPU驱动（无需安装CUDA，OrionX不依赖原生CUDA）。

• 在所有GPU节点上安装NVidia Docker runtime，并设置为default runtime。可以参考下面的示例

  • 安装nvidia-docker2：

    # https://github.com/NVIDIA/k8s-device-plugin#preparing-your-gpu-nodes
    
    distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
    curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
    curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
    sudo apt-get update && sudo apt-get install -y nvidia-docker2
    sudo systemctl enable docker
    

  • 安装完nvidia-docker2后，我们要确保设置default runtime设置到nvidia：

    # /etc/docker/daemon.json
    {
        "default-runtime": "nvidia",
        "runtimes": {
            "nvidia": {
                "path": "/usr/bin/nvidia-container-runtime",
                "runtimeArgs": []
          }
      }
    }
    
    sudo systemctl restart docker
    

  • 如果使用公有云，可以在申请GPU实例时使用配置好GPU驱动+CUDA+Docker+NVidia Docker runtime的镜像。

具体可以参考k3s中文社区文档：如何在k3s环境中安装GPU相关程序 。

快速安装Rancher k3s

准备好节点环境，即可方便快速的部署k3s。

# 在控制面（server）节点执行如下指令：
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--docker" sh -s -
# 国内用户，可以使用以下方法加速安装：
curl -sfL https://docs.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC="--docker" sh -s -

# 在worker（agent）节点执行如下命令，其中：
# K3S_URL是可以访问的控制面板节点地址
# K3S_TOKEN保存在控制面（server）节点的/var/lib/rancher/k3s/server/node-token路径下。
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--docker" K3S_URL=https://myserver:6443 K3S_TOKEN=mynodetoken sh -
# 国内用户，可以使用以下方法加速安装：
curl -sfL https://docs.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_EXEC="--docker" K3S_URL=https://myserver:6443 K3S_TOKEN=mynodetoken sh -

具体可以参考k3s官方文档。

如果需要使用kubectl访问控制k3s集群，需要进行一些简单的配置：

• 方法一：设置KUBECONFIG环境变量：

export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
kubectl get pods --all-namespaces

• 方法二：指定--kubeconfig参数：

kubectl --kubeconfig /etc/rancher/k3s/k3s.yaml get pods --all-namespaces

• 方法三：将/etc/rancher/k3s/k3s.yaml拷贝到~/.kube/config。

具体可以参考k3s官方文档。

k3s上使用OrionX

有多种方式可以让用户在k3s上方便快速地部署使用OrionX。下面一一介绍。

Rancher+k3s+OrionX

k3s作为Rancher旗下一个轻量级的Kubernetes发行版本，与Rancher具有极佳的兼容性，可以方便地使用Rancher进行管理。

• 首先需要在Rancher上导入k3s集群，下图以Rancher企业版为例，Rancher社区版操作类似：

  

• 随后既可以参考文档**OrionX-Rancher集成指南**方便地使用Rancher部署使用OrionX了。

k3s在某些情况下会导致hostNetwork: true的pod无法访问到ClusterIP服务。如果遇到该情况，请参考helm+OrionX一节。

helm+OrionX

OrionX支持使用helm工具在k3s上进行快速部署。请参考文档**使用Helm部署OrionX**。

k3s在某些情况下会导致hostNetwork: true的pod无法访问到ClusterIP服务。如果遇到该情况，请使用特殊的chart分支：

git clone https://github.com/wpfnihao/pandaria-catalog.git -b dev/k3s

并在values.yaml文件中正确设置k3s相关内容。例子：

k3s: 
  enabled: true
  # Interesting Config:
  # Please make sure this value is set to any accessible k3s node ip
  hostIP: "127.0.0.1"

k3s helm CRD+OrionX

k3s默认支持通过helm CRD来部署helm chart（参考：https://rancher.com/docs/k3s/latest/en/helm/）。

用户需要准备k3s helm CRD支持的yaml文件，如下所示。可以看到，所有设置项均与**使用Helm部署OrionX**相同。用户通过下方示例创建yaml文件（例如orion.yaml）并对设置项进行相应修改后，可以将该文件拷贝至k3s server节点/var/lib/rancher/k3s/server/manifests目录下。k3s helm CRD控制器会自动根据设置内容拉起所有Orion组件。

apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
  name: virtaitech-orion-vgpu
  namespace: kube-system
spec:
  chart: virtaitech-orion-vgpu
  repo: https://wpfnihao.github.io/pandaria-catalog
  targetNamespace: virtaitech-orion-vgpu
  valuesContent: |-
    image:
      pullPolicy: IfNotPresent
    imagePullSecrets:

    resources:
      # Interesting Config:
      # resource name exposed by Orion
      name: "virtaitech.com/gpu"

    monitor:
      collectorPath: /run/prometheus
      image:
        exporter:
          # nvidia/dcgm-exporter
          repository: virtaitech/dcgm-export
          version: "2.2"
        prometheus:
          # quay.io/prometheus/node-exporter
          repository: virtaitech/node-exporter
          version: "2.2"
      # this port is also used by controller to scrap info.
      # should not change this value
      port: 9100

    controller:
      version: "2.2"
      name: "orion-controller"
      port: "15500"
      portName0: "controller"
      portName1: "port1"
      portName2: "webportal"
      nodeport: 30007
      service: orion-controller
      image:
        prom: virtaitech/prometheus
        repository: virtaitech/orion-controller
        version: "2.2"
      # Interesting Config:
      password: ""
      # Interesting Config:
      # or true
      enableQuota: false
      # Interesting Config:
      token: ""
      # changing this value not tested
      replicas: 1

    helper:
      image:
        repository: virtaitech/orion-helper
        version: "2.2"

    server:
      port: "9960"
      # Interesting Config:
      # TODO: requires additional images
      cudaVersion: "10.1"
      image:
        version: "2.2"
      path:
        comm: /var/tmp/orion/comm
      # Interesting Config:
      net: ens5
      # Interesting Config:
      vgpus: 4
      # Interesting Config:
      ibName: ""

    plugin:
      path: /var/lib/kubelet/device-plugins
      image:
        repository: virtaitech/orion-plugin
        version: "2.2"

    scheduler:
      replicas: 1
      apiVersion: "2.2"
      dataVersion: "2.2"
      image:
        scheduler:
          # gcr.io/google_containers/hyperkube:v1.16.3
          repository: virtaitech/hyperkube
          version: "2.2"
        extender:
          repository: virtaitech/k8s-scheduler-extender
          version: "2.2"
      port: 8888
      verbose: 4

    license:
      # Interesting Config:
      key: ""

    volumes:
      shm: /dev/shm

几点说明：

• 特别适合通过本方式将Orion作为k3s的常驻组件进行部署。
• 修改/var/lib/rancher/k3s/server/manifests/orion.yaml文件会更新CRD控制器，但执行逻辑与helm upgrade不同。
• 删除orion.yaml文件不会卸载已部署的Orion组件（与helm uninstall逻辑不同）。
• k3s在某些情况下会导致hostNetwork: true的pod无法访问到ClusterIP服务。如果遇到该情况，请参考helm+OrionX一节。

使用Helm部署OrionX

本文介绍使用Helm命令行工具将OrionX所有组件部署到Kubernetes环境。

Orion已经与企业级Kubernetes管理平台Rancher深度整合，你可以通过Rancher中国应用商店直接部署Orion。具体请参考Rancher应用商店以及OrionX-Rancher集成指南。

获取官方Orion Helm Chart

使用如下指令获取官方Orion Helm Chart：

git clone https://github.com/cnrancher/pandaria-catalog.git -b dev/v2.3

安装部署

1. 在可以通过kubectl访问Kubernetes的节点上安装Helm工具。

   # 1.1 测试kubectl可以正常工作
   kubectl get nodes
   # 示例输出
   #NAME               STATUS   ROLES               AGE   VERSION
   #ip-172-31-28-1     Ready    worker              24d   v1.17.5
   #ip-172-31-43-188   Ready    worker              24d   v1.17.5
   #ip-172-31-43-87    Ready    controlplane,etcd   24d   v1.17.5
   
   # 1.2 安装helm
   # Ubuntu上可以直接通过snap安装
   # 其它包管理器下安装helm请参考
   # https://helm.sh/docs/intro/install/
   # 或者
   # https://github.com/helm/helm/releases
   sudo snap install helm --classic
   
   # 测试helm可以正常与Kubernetes通信
   helm list
   # 示例输出
   #NAME    NAMESPACE       REVISION        UPDATED STATUS  CHART   APP VERSION
   

2. 修改安装配置

   • 所有配置信息都通过修改pandaria-catalog/charts/virtaitech-orion-vgpu/v1.0.0/values.yaml实现（其它chart配置方式请参考Helm官方文档）

   • 大部分配置均不需要修改，少数需要修改的配置均通过注释# Interesting Config: 标出。关键配置的说明如下：

     设置	说明	默认值	类型
     resources.name	暴露给Kubernetes的orion资源名称，客户端在申请orion资源时，需要使用这里设置的资源名称。通常不需要修改。特别和Rancher整合时，修改这个名称将导致Rancher无法正确启动Orion的客户端（Rancher固定使用virtaitech.com/gpu作为Orion资源名）	virtaitech.com/gpu	string
     controller.password	登录controller webui的密码（用户为admin）。controller的登录地址在使用helm install部署时将通过stdout输出，请注意查看。	空	string
     controller.enableQuota	controller是否启用quota。	false	bool
     controller.token	controller的token。调用controller高级api时需要给出这里设置的token才能调用成功。	空	string
     server.cudaVersion	server镜像内使用的cuda版本，可选值为"9.0","9.1","9.2","10.0","10.1"。	10.1	string
     server.net	（关键设置）Orion bind net的网卡名称。该设置会指定OrionX使用的网卡，特别当计算节点拥有多张网卡时，需要小心设置（例如，RDMA网卡和TCP网卡并存，最好指定RDMA网卡）。由于在Kubernetes环境下难以为每个节点独立配置orion server并指定bind address，需要为所有节点通过统一的网卡名称来配置Orion网络环境。这会引入一个前提：如果有节点配置使用的网卡名称必须相同，否则必须请IT、运维人员做相应修改。	eth0	string
     server.vgpus	每个PGPU虚拟出几个VGPU	4	int
     server.ibName	Infiniband网卡名称。非必填项。	空	string
     license.key	新版license。直接作为字符串粘贴到这里即可。注意旧版的license无法使用。请联系趋动科技获取有效的license。获取license请参考：https://www.virtaitech.com/development/index#-12	空	string
     scheduler.apiVersion	controller使用的api版本。scheduler与controller通信时会使用。通常与controller的版本相同。	2.2	string
     scheduler.dataVersion	同上。	2.2	string

3. 相关说明

   • 自定义镜像

     通常每个组件使用的image可以通过组件下的image.repository和image.version来设置。例如：

     helper:
        image:
          repository: virtaitech/orion-helper
          version: "2.2"
     

     则最终orion helper使用的image为：virtaitech/orion-helper:2.2

     但是orion server的情况比较特殊，请参考下文说明。

   • orion helper说明

     Orion部署完成后请通过kubectl describe node <nodeName>查看每个node的label，确保ORION_BIND_ADDR=<ip_address>已经通过orion helper正确设置。如果没有的话，需要手动添加label:kubectl label nodes <nodeName> ORION_BIND_ADDR=<ip_address>。这里<ip_address>需要和server.net处设置的网卡的ip地址相同。如果orion server在对应节点上启动失败，则orion helper也无法正确打label。

   • orion server镜像说明

     orion server具体使用的镜像通过server.image.version和server.cudaVersion的组合指定。如果使用其它镜像，请将image tag成表格中的格式，并设置这两个值。请注意现在DockerHub上只有2.2+10.1的镜像（virtaitech/orion-server-2.2:cuda10.1），如果需要使用其它版本，请使用趋动工程师提供的镜像包，并通过docker load导入镜像到每一个节点的docker daemon并打好相应tag，例如virtaitech/orion-server-2.2:cuda9.1。或者把镜像push到私有registry上。如果私有registry有访问控制，需要设置values.yaml 中imagePullSecrets的值。

4. 安装部署

   配置好values.yaml文件后，就可以通过helm安装所有Orion组件

   # helm可以一键部署orion
   helm install pandaria-catalog/charts/virtaitech-orion-vgpu/v1.0.0/ --generate-name
   
   # 如果想要看到helm生成的所有yaml文件，可以使用debug参数
   helm install pandaria-catalog/charts/virtaitech-orion-vgpu/v1.0.0/ --generate-name --debug
   

   部署完成后可以使用helm list查看部署状态。示例输出为：

   NAME                    NAMESPACE       REVISION        UPDATED                                 STATUS   CHART                           APP VERSION
   orion-gpu-1591596688    default         1               2020-06-08 06:11:28.953306413 +0000 UTC deployed virtaitech-orion-vgpu-1.0.0     2.2
   

   部署完成后可以通过kubectl get all 查看部署的Orion组件状态，示例输出为：

   NAME                                    READY   STATUS             RESTARTS   AGE
   pod/orion-controller-5bd9578d87-4dm5n   2/2     Running            0          5m49s
   pod/orion-monitor-qxftd                 2/2     Running            0          5m49s
   pod/orion-monitor-s2rjl                 2/2     Running            0          5m49s
   pod/orion-plugin-lwbfk                  1/1     Running            0          5m49s
   pod/orion-plugin-n2jvc                  1/1     Running            0          5m49s
   pod/orion-server-4c6tx                  1/1     Running            0          5m49s
   pod/orion-server-dtltp                  0/1     CrashLoopBackOff   5          5m49s
   pod/orion-helper-49xzz                  1/1     Running            0          12m
   pod/orion-helper-vk2z9                  1/1     Running            0          12m
   pod/orion-scheduler-5c7f495cf-92bpp     2/2     Running            0          12m
   
   NAME                                TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)                         AGE
   service/kubernetes                  ClusterIP   10.43.0.1       <none>        443/TCP                         26d
   service/orion-controller            ClusterIP   10.43.173.242   <none>        15500/TCP,15501/TCP,15502/TCP   5m49s
   service/orion-controller-nodeport   NodePort    10.43.44.103    <none>        15502:30009/TCP                 5m49s
   
   NAME                           DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/orion-monitor   2         2         2       2            2           <none>          5m49s
   daemonset.apps/orion-plugin    2         2         2       2            2           <none>          5m49s
   daemonset.apps/orion-server    2         2         1       2            1           <none>          5m49s
   
   NAME                               READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/orion-controller   1/1     1            1           5m49s
   
   NAME                                          DESIRED   CURRENT   READY   AGE
   replicaset.apps/orion-controller-5bd9578d87   1         1         1       5m49s
   

   • 注意这里有一个orion-server没有能正常启动。通过kubectl logs pod/orion-server-dtltp查看日志，示例输出为：

     Device "ens5" does not exist.
     Network interface ens5 dose not have a valid IPv4 address.
     

     这里ens5为server.net的配置。这条log说明Kubernetes集群中有一个节点没有ens5网卡，导致bind net失败。因此我们要求客户环境内节点使用统一的网卡命名，以便Orion使用。

5. 使用

   Orion客户端的使用方式可以参考OrionX-Rancher集成指南中测试一节。

6. 如果想要清理所有Orion的组件，可以使用helm list输出的NAME进行卸载：

   helm uninstall orion-gpu-1591596688