AzureBatchStep Classe

Crée une étape de pipeline Azure ML pour envoyer des travaux à Azure Batch.

Remarque : cette étape ne prend pas en charge le téléchargement/téléchargement des répertoires et leur contenu.

Pour obtenir un exemple d’utilisation d’AzureBatchStep, consultez le notebook https://aka.ms/pl-azbatch.

Créez une étape de pipeline Azure ML pour envoyer des travaux à Azure Batch.

Constructeur

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

Paramètres

Nom	Description
name Obligatoire	str [Obligatoire] Nom de l’étape.
create_pool	bool Indique s’il faut créer le pool avant d’exécuter les travaux. Valeur par défaut: False
pool_id	str [Obligatoire] ID du pool dans lequel le travail s’exécute. L’ID peut être un pool existant ou un pool qui sera créé lors de l’envoi du travail. Valeur par défaut: None
delete_batch_job_after_finish	bool Indique s’il faut supprimer le travail du compte Batch une fois terminé. Valeur par défaut: True
delete_batch_pool_after_finish	bool Indique s’il faut supprimer le pool une fois le travail terminé. Valeur par défaut: False
is_positive_exit_code_failure	bool Indique si le travail échoue si la tâche existe avec un code positif. Valeur par défaut: True
vm_image_urn	str Si `create_pool` la valeur est True et que la machine virtuelle utilise VirtualMachineConfiguration. Format de valeur : `urn:publisher:offer:sku`. Exemple : `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`. Valeur par défaut: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool Indique si la tâche doit s’exécuter avec des privilèges d’administrateur. Valeur par défaut: False
target_compute_nodes	int Si `create_pool` la valeur est True, indique le nombre de nœuds de calcul qui seront ajoutés au pool. Valeur par défaut: 1
vm_size	str Si `create_pool` la valeur est True, indique la taille de la machine virtuelle des nœuds de calcul. Valeur par défaut: standard_d1_v2
source_directory	str Dossier local qui contient les fichiers binaires de module, exécutables, assemblys, etc. Valeur par défaut: None
executable	str [Obligatoire] Nom de la commande/exécutable qui sera exécutée dans le cadre du travail. Valeur par défaut: None
arguments	str Arguments de la commande/exécutable. Valeur par défaut: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Liste des liaisons de port d’entrée. Avant l’exécution du travail, un dossier est créé pour chaque entrée. Les fichiers de chaque entrée sont copiés du stockage vers le dossier respectif sur le nœud de calcul. Par exemple, si le nom d’entrée est input1 et que le chemin relatif sur le stockage est some/relative/path/that/can/really/long/inputfile.txt, le chemin du fichier sur le calcul est : ./input1/inputfile.txt. Lorsque le nom d’entrée est supérieur à 32 caractères, il est tronqué et ajouté avec un suffixe unique afin que le nom du dossier puisse être créé avec succès sur la cible de calcul. Valeur par défaut: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Liste des liaisons de port de sortie. Comme pour les entrées, avant l’exécution du travail, un dossier est créé pour chaque sortie. Le nom du dossier sera identique au nom de sortie. L’hypothèse est que le travail place la sortie dans ce dossier. Valeur par défaut: None
allow_reuse	bool Indique si l’étape doit réutiliser les résultats précédents lors de la réexécutation avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par la modification de la définition du jeu de données, et non par la modification des données sous-jacentes. Valeur par défaut: True
compute_target	BatchCompute, str [Obligatoire] Calcul BatchCompute où le travail s’exécute. Valeur par défaut: None
version	str Balise de version facultative pour indiquer une modification des fonctionnalités du module. Valeur par défaut: None
name Obligatoire	str [Obligatoire] Nom de l’étape.
create_pool Obligatoire	bool Indique s’il faut créer le pool avant d’exécuter les travaux.
pool_id Obligatoire	str [Obligatoire] ID du pool dans lequel le travail s’exécute. L’ID peut être un pool existant ou un pool qui sera créé lors de l’envoi du travail.
delete_batch_job_after_finish Obligatoire	bool Indique s’il faut supprimer le travail du compte Batch une fois terminé.
delete_batch_pool_after_finish Obligatoire	bool Indique s’il faut supprimer le pool une fois le travail terminé.
is_positive_exit_code_failure Obligatoire	bool Indique si le travail échoue si la tâche existe avec un code positif.
vm_image_urn Obligatoire	str Si `create_pool` la valeur est True et que la machine virtuelle utilise VirtualMachineConfiguration. Format de valeur : `urn:publisher:offer:sku`. Exemple : `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`.
run_task_as_admin Obligatoire	bool Indique si la tâche doit s’exécuter avec des privilèges d’administrateur.
target_compute_nodes Obligatoire	int Si `create_pool` la valeur est True, indique le nombre de nœuds de calcul qui seront ajoutés au pool.
vm_size Obligatoire	str Si `create_pool` la valeur est True, indique la taille de la machine virtuelle des nœuds de calcul.
source_directory Obligatoire	str Dossier local qui contient les fichiers binaires du module, l’exécutable, les assemblys, etc.
executable Obligatoire	str [Obligatoire] Nom de la commande/exécutable qui sera exécutée dans le cadre du travail.
arguments Obligatoire	list Arguments de la commande/exécutable.
inputs Obligatoire	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Liste des liaisons de port d’entrée. Avant l’exécution du travail, un dossier est créé pour chaque entrée. Les fichiers de chaque entrée sont copiés du stockage vers le dossier respectif sur le nœud de calcul. Par exemple, si le nom d’entrée est input1 et que le chemin relatif sur le stockage est some/relative/path/that/can/really/long/inputfile.txt, le chemin du fichier sur le calcul est : ./input1/inputfile.txt. Si le nom d’entrée est supérieur à 32 caractères, il est tronqué et ajouté avec un suffixe unique, de sorte que le nom du dossier peut être créé avec succès sur le calcul.
outputs Obligatoire	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Liste des liaisons de port de sortie. Comme pour les entrées, avant l’exécution du travail, un dossier est créé pour chaque sortie. Le nom du dossier sera identique au nom de sortie. L’hypothèse est que le travail aura la sortie dans ce dossier.
allow_reuse Obligatoire	bool Indique si l’étape doit réutiliser les résultats précédents lors de la réexécutation avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par la modification de la définition du jeu de données, et non par la modification des données sous-jacentes.
compute_target Obligatoire	BatchCompute, str [Obligatoire] Calcul BatchCompute où le travail s’exécute.
version Obligatoire	str Balise de version facultative pour indiquer une modification des fonctionnalités du module.

Remarques

L’exemple suivant montre comment utiliser AzureBatchStep dans un pipeline Azure Machine Learning.


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

L’exemple complet est disponible à partir de https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb

Méthodes

create_node

Créez un nœud à partir de l’étape AzureBatch et ajoutez-le au graphe spécifié.

Cette méthode n’est pas destinée à être utilisée directement. Lorsqu’un pipeline est instancié avec cette étape, Azure ML transmet automatiquement les paramètres requis par cette méthode afin que cette étape puisse être ajoutée à un graphique de pipeline qui représente le flux de travail.

create_node

Créez un nœud à partir de l’étape AzureBatch et ajoutez-le au graphe spécifié.

create_node(graph, default_datastore, context)

Paramètres

Nom	Description
graph Obligatoire	Graph Objet graphique auquel ajouter le nœud.
default_datastore Obligatoire	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] Magasin de données par défaut.
context Obligatoire	<xref:azureml.pipeline.core._GraphContext> Contexte de graphe.

Retours

Type	Description
Node	Nœud créé.

Partager via

AzureBatchStep Classe

Constructeur

Paramètres

Remarques

Méthodes

create_node

Paramètres

Retours

Commentaires