カスタム コンテナーを使用してモデルをオンライン エンドポイントにデプロイする

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

サンプル リポジトリでは、ほとんどの Python サンプルは sdk/python フォルダーの下にあります。 この記事では、代わりに cli フォルダーに移動します。 cli フォルダーの下のフォルダー構造は、この場合の sdk/python 構造とは若干異なります。 この記事のほとんどの手順では、cli 構造が必要です。

手順の例に従う場合は、 サンプル リポジトリの Jupyter ノートブックを参照してください。 ただし、そのノートブックの次のセクションでは、手順は cli フォルダーではなく azureml-examples/sdk/python フォルダーから実行されます。

• 3. Test locally
• 5. サンプル データを使用してエンドポイントをテストする

エンドポイントとデプロイ用の YAML ファイルを作成する

YAML を使用してクラウド デプロイを構成できます。 たとえば、エンドポイントを構成するには、次の行を含む tfserving-endpoint.yml という名前の YAML ファイルを作成できます。

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

デプロイを構成するには、次の行を含む tfserving-deployment.yml という名前の YAML ファイルを作成します。

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: <model-version>
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/<model-version>
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

Azure Machine Learning ワークスペースに接続する

Azure Machine Learning ワークスペースを構成するには、次の手順を実行します。

1. 必要なライブラリをインポートします。

   # Import the required libraries.
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
      ManagedOnlineEndpoint,
      ManagedOnlineDeployment,
      Model,
      Environment,
      CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential
   

2. ワークスペース設定を構成し、ワークスペースへのハンドルを取得します。

   # Enter information about your Azure Machine Learning workspace.
   subscription_id = "<subscription-ID>"
   resource_group = "<resource-group-name>"
   workspace = "<Azure-Machine-Learning-workspace-name>"
   
   # Get a handle to the workspace.
   ml_client = MLClient(
     DefaultAzureCredential(), subscription_id, resource_group, workspace
   )
   

詳細については、「オンライン エンドポイントを使用して機械学習モデルをデプロイおよびスコア付けする」を参照してください。

オンライン エンドポイントを構成する

オンライン エンドポイントを構成するには、次のコードを使用します。 次の点に注意してください。

• エンドポイントの名前は、その Azure リージョンで一意である必要があります。 また、エンドポイント名は文字で始まる必要があり、英数字とハイフンのみで構成されます。 名前付け規則の詳細については、 Azure Machine Learning オンライン エンドポイントとバッチ エンドポイントに関するページを参照してください。
• auth_mode値には、キーベースの認証にkeyを使用します。 Azure Machine Learning のトークン ベースの認証に aml_token を使用します。 キーには有効期限がありませんが、トークンには有効期限があります。 認証の詳細については、「 オンライン エンドポイントのクライアントを認証する」を参照してください。
• 説明とタグは省略可能です。

# To create a unique endpoint name, use a time stamp of the current date and time.
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# Configure an online endpoint.
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="A sample online endpoint",
    auth_mode="key",
    tags={"env": "dev"},
)

オンライン展開を構成する

デプロイは、実際の推論を行うモデルをホストするために必要なリソースのセットです。 ManagedOnlineDeployment クラスを使用して、エンドポイントのデプロイを構成できます。 そのクラスのコンストラクターは、次のパラメーターを使用します。

• name: デプロイの名前。
• endpoint_name: デプロイを作成するエンドポイントの名前。
• model: デプロイに使用するモデル。 この値は、ワークスペース内の既存のバージョン管理されたモデルへの参照またはインライン モデルの仕様のいずれかです。
• environment: デプロイに使用する環境。 この値は、ワークスペース内の既存のバージョン管理された環境への参照、またはインライン環境仕様のいずれかになります。
• environment_variables: デプロイ時に設定される環境変数。
  • MODEL_BASE_PATH: モデルのフォルダーを含む親フォルダーへのパス。
  • MODEL_NAME: モデルの名前。
• instance_type: デプロイに使用する仮想マシンのサイズ。 サポートされているサイズの一覧については、 マネージド オンライン エンドポイント SKU の一覧を参照してください。
• instance_count: デプロイに使用するインスタンスの数。

エンドポイントのデプロイを構成するには、次のコードを使用します。

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

tfserving-deployment.yml ファイルの model セクションに次の行が含まれているとします。 このセクションでは、 name 値は、Azure Machine Learning にモデルを登録するために使用する名前を参照します。

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

次のコードを使用して、 Model クラスを作成するとします。 このコードでは、 name 値は、Azure Machine Learning にモデルを登録するために使用する名前を参照します。

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

たとえば、tfserving-deployment.yml ファイルに model_mount_path パラメーターを追加できます。 そのファイルの MODEL_BASE_PATH 値を更新することもできます。

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
environment_variables:
  MODEL_BASE_PATH: /var/tfserving-model-mount
...

たとえば、model_mount_path クラスに ManagedOnlineDeployment パラメーターを追加できます。 そのコードの MODEL_BASE_PATH 値を更新することもできます。

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    environment_variables={
        "MODEL_BASE_PATH": "/var/tfserving-model-mount",
    ...
)

YAML ファイルを作成したら、次のコマンドを使用してエンドポイントを作成します。

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-endpoint.yml

次のコマンドを使用してデプロイを作成します。 この手順は数分実行される場合があります。

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-deployment.yml --all-traffic

ワークスペースにエンドポイントを作成するには、次のコードを使用します。 このコードでは、前に作成した MLClient のインスタンスを使用します。 begin_create_or_update メソッドは、エンドポイントの作成を開始します。 その後、エンドポイントの作成が続行されている間に確認応答が返されます。

ml_client.begin_create_or_update(endpoint)

次のコードを実行してデプロイを作成します。

ml_client.begin_create_or_update(blue_deployment)

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

前に作成した MLClient のインスタンスを使用して、エンドポイントへのハンドルを取得します。 次に、 invoke メソッドと次のパラメーターを使用してエンドポイントを呼び出します。

• endpoint_name: エンドポイントの名前
• request_file: 要求データを含むファイル
• deployment_name: エンドポイントでテストするデプロイの名前

For the request data, you can use a sample JSON file from the example repository.

# Test the blue deployment by using some sample data.
response = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample_request.json",
)

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)