使用自定义容器将模型部署到联机终结点

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

在示例存储库中，大多数 Python 示例位于 sdk/python 文件夹下。 对于本文，请改为转到 cli 文件夹。 在这种情况下，cli 文件夹下的文件夹结构与 sdk/python 结构略有不同。 本文中的大多数步骤都需要 cli 结构。

若要遵循示例步骤，请参阅 示例存储库中的 Jupyter 笔记本。 但在笔记本的以下部分中，这些步骤从 azureml-examples/sdk/python 文件夹而不是 cli 文件夹运行：

• 3. Test locally
• 5. 使用示例数据测试终结点

为终结点和部署创建 YAML 文件

可以使用 YAML 配置云部署。 例如，若要配置终结点，可以创建一个名为tfserving-endpoint.yml的 YAML 文件，其中包含以下行：

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

若要配置部署，可以创建一个名为tfserving-deployment.yml的 YAML 文件，其中包含以下行：

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: <model-version>
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/<model-version>
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

连接到 Azure 机器学习工作区

若要配置 Azure 机器学习工作区，请执行以下步骤：

1. 导入所需的库：

   # Import the required libraries.
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
      ManagedOnlineEndpoint,
      ManagedOnlineDeployment,
      Model,
      Environment,
      CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential
   

2. 配置工作区设置并获取工作区的控制权。

   # Enter information about your Azure Machine Learning workspace.
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace = "<Azure-Machine-Learning-workspace-name>"
   
   # Get a handle to the workspace.
   ml_client = MLClient(
     DefaultAzureCredential(), subscription_id, resource_group, workspace
   )
   

有关详细信息，请参阅使用在线终结点部署机器学习模型并为其评分。

配置在线终结点

使用以下代码配置联机终结点。 请记住以下几点：

• 终结点的名称在其 Azure 区域中必须唯一。 此外，终结点名称必须以字母开头，并且仅包含字母数字字符和连字符。 有关命名规则的详细信息，请参阅 Azure 机器学习联机终结点和批处理终结点。
• 对于auth_mode值，请使用key进行基于密钥的身份验证。 使用 aml_token 可执行基于 Azure 机器学习令牌的身份验证。 密钥不会过期，但令牌会过期。 有关身份验证的详细信息，请参阅 对联机终结点的客户端进行身份验证。
• 说明和标记是可选的。

# To create a unique endpoint name, use a time stamp of the current date and time.
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# Configure an online endpoint.
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="A sample online endpoint",
    auth_mode="key",
    tags={"env": "dev"},
)

配置联机部署

部署是托管执行实际推理的模型所需的一组资源。 可以使用 ManagedOnlineDeployment 类为终结点配置部署。 该类的构造函数使用以下参数：

• name：部署的名称。
• endpoint_name：用于创建部署的终结点名称。
• model：要用于部署的模型。 此值可以是对工作区中现有版本化模型的引用，也可以是对内嵌模型规范的引用。
• environment：用于部署的环境。 此值可以是对工作区中现有版本化环境的引用，也可以是内联环境规范。
• environment_variables：部署期间设置的环境变量。
  • MODEL_BASE_PATH：包含模型文件夹的父文件夹的路径。
  • MODEL_NAME：模型的名称。
• instance_type：要用于部署的虚拟机大小。 有关支持的大小列表，请参阅托管联机终结点 SKU 列表。
• instance_count：要用于部署的实例数。

使用以下代码为您的端点配置部署：

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

假设tfserving-deployment.yml文件在其model部分中包含以下行。 在本部分中，该值 name 指用于在 Azure 机器学习中注册模型的名称。

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

假设使用以下代码创建类 Model 。 在此代码中， name 该值指用于在 Azure 机器学习中注册模型的名称。

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

例如，您可以将model_mount_path参数添加到您的tfserving-deployment.yml文件中。 还可以更新 MODEL_BASE_PATH 该文件中的值：

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
environment_variables:
  MODEL_BASE_PATH: /var/tfserving-model-mount
...

例如，您可以将model_mount_path参数添加到ManagedOnlineDeployment类中。 还可以更新该代码中 MODEL_BASE_PATH 的值。

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    environment_variables={
        "MODEL_BASE_PATH": "/var/tfserving-model-mount",
    ...
)

构造 YAML 文件后，使用以下命令创建终结点：

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-endpoint.yml

使用以下命令来创建你的部署。 此步骤可能会运行几分钟。

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-deployment.yml --all-traffic

使用以下代码在工作区中创建终结点。 此代码使用前面创建的实例 MLClient 。 该方法 begin_create_or_update 将启动终结点创建。 然后在终结点创建继续时返回确认响应。

ml_client.begin_create_or_update(endpoint)

通过运行以下代码创建部署：

ml_client.begin_create_or_update(blue_deployment)

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

使用之前创建的实例 MLClient 来获取终结点的句柄。 invoke然后使用该方法和以下参数调用终结点：

• endpoint_name：终结点的名称
• request_file：包含请求数据的文件
• deployment_name：要在终结点中测试的部署的名称

For the request data, you can use a sample JSON file from the example repository.

# Test the blue deployment by using some sample data.
response = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample_request.json",
)

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)