DataReference Classe
Représente une référence aux données d’un magasin de données.
Un DataReference représente un chemin d’accès dans un magasin de données et peut être utilisé pour décrire comment et où les données doivent être rendues disponibles dans une exécution. Il n’est plus l’approche recommandée pour l’accès aux données et la livraison dans Azure Machine Learning. Le jeu de données prend en charge l’accès aux données à partir du stockage Blob Azure, d’Azure Files, d’Azure Data Lake Storage Gen1, d’Azure Data Lake Storage Gen2, d’Azure SQL Database et d’Azure Database pour PostgreSQL via une interface unifiée avec des fonctionnalités de gestion des données ajoutées. Il est recommandé d’utiliser le jeu de données pour lire des données dans vos projets Machine Learning.
Pour plus d’informations sur l’utilisation du jeu de données Azure ML dans deux scénarios courants, consultez les articles suivants :
Constructeur DataReference de classe.
Constructeur
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)Paramètres
| Nom | Description |
|---|---|
|
datastore
Obligatoire
|
Magasin de banques à référencer. |
|
data_reference_name
|
Nom de la référence de données. Valeur par défaut: None
|
|
path_on_datastore
|
Chemin d’accès relatif dans le stockage de sauvegarde pour la référence de données. Valeur par défaut: None
|
|
mode
|
Opération sur la référence de données. Les valeurs prises en charge sont « mount » (valeur par défaut) et « download ». Utilisez le mode « télécharger » lorsque votre script attend un chemin spécifique (par exemple, codé en dur) pour les données d’entrée.
Dans ce cas, spécifiez le chemin d’accès avec le Avec le mode « montage », un répertoire temporaire est créé avec les données montées et une variable d’environnement $AZUREML_DATAREFERENCE_<data_reference_name> est définie avec le chemin d’accès au répertoire temporaire. Si vous passez une DataReference dans la liste d’arguments d’une étape de pipeline (par exemple, PythonScriptStep), la référence sera étendue au chemin de données local au moment de l’exécution. Valeur par défaut: mount
|
|
path_on_compute
|
Chemin d’accès sur la cible de calcul pour la référence de données. Valeur par défaut: None
|
|
overwrite
|
Indique s’il faut remplacer les données existantes. Valeur par défaut: False
|
|
datastore
Obligatoire
|
Magasin de banques à référencer. |
|
data_reference_name
Obligatoire
|
Nom de la référence de données. |
|
path_on_datastore
Obligatoire
|
Chemin d’accès relatif dans le stockage de sauvegarde pour la référence de données. |
|
mode
Obligatoire
|
Opération sur la référence de données. Valeurs prises en charge « mount » (valeur par défaut) et « download ». Utilisez le mode « télécharger » lorsque votre script attend un chemin spécifique (par exemple, codé en dur) pour les données d’entrée.
Dans ce cas, spécifiez le chemin d’accès avec le Avec le mode « montage », un répertoire temporaire est créé avec les données montées et une variable d’environnement $AZUREML_DATAREFERENCE_<data_reference_name> est définie avec le chemin d’accès au répertoire temporaire. Si vous passez une DataReference dans la liste d’arguments d’une étape de pipeline (par exemple, PythonScriptStep), la référence sera étendue au chemin de données local au moment de l’exécution. |
|
path_on_compute
Obligatoire
|
Chemin d’accès sur la cible de calcul pour la référence de données. |
|
overwrite
Obligatoire
|
Indique s’il faut remplacer les données existantes. |
Remarques
Une dataReference définit à la fois l’emplacement des données et la façon dont les données sont utilisées sur la liaison de calcul cible (montage ou chargement). Le chemin d’accès aux données du magasin de données peut être la racine /, un répertoire au sein du magasin de données ou un fichier dans le magasin de données.
Méthodes
| as_download |
Changer d’opération de référence de données à télécharger. Le téléchargement DataReference prend uniquement en charge Le partage de fichiers Et Blob Azure. Pour télécharger des données à partir d’objets blob Azure, de partage de fichiers Azure, d’Azure Data Lake Gen1 et d’Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation du jeu de données, consultez https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_mount |
Changer l’opération de référence de données pour monter. Le montage DataReference prend uniquement en charge l’objet blob Azure. Pour monter des données dans Azure Blob, Azure File Share, Azure Data Lake Gen1 et Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation du jeu de données, consultez https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_upload |
Changer d’opération de référence de données à charger. Pour plus d’informations sur les calculs et les magasins de données qui prennent en charge le chargement des données, consultez : https://aka.ms/datastore-matrix |
| create |
Créez une DataReference à l’aide de DataPath et DataPathComputeBinding. |
| path |
Créez une instance DataReference en fonction du chemin d’accès donné. |
| to_config |
Convertissez l’objet DataReference en objet DataReferenceConfiguration. |
as_download
Changer d’opération de référence de données à télécharger.
Le téléchargement DataReference prend uniquement en charge Le partage de fichiers Et Blob Azure. Pour télécharger des données à partir d’objets blob Azure, de partage de fichiers Azure, d’Azure Data Lake Gen1 et d’Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation du jeu de données, consultez https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_download(path_on_compute=None, overwrite=False)Paramètres
| Nom | Description |
|---|---|
|
path_on_compute
|
Chemin d’accès sur le calcul pour la référence de données. Valeur par défaut: None
|
|
overwrite
|
Indique s’il faut remplacer les données existantes. Valeur par défaut: False
|
Retours
| Type | Description |
|---|---|
|
Nouvel objet de référence de données. |
as_mount
Changer l’opération de référence de données pour monter.
Le montage DataReference prend uniquement en charge l’objet blob Azure. Pour monter des données dans Azure Blob, Azure File Share, Azure Data Lake Gen1 et Azure Data Lake Gen2, nous vous recommandons d’utiliser le jeu de données Azure Machine Learning. Pour plus d’informations sur la création et l’utilisation du jeu de données, consultez https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount()Retours
| Type | Description |
|---|---|
|
Nouvel objet de référence de données. |
as_upload
Changer d’opération de référence de données à charger.
Pour plus d’informations sur les calculs et les magasins de données qui prennent en charge le chargement des données, consultez : https://aka.ms/datastore-matrix
as_upload(path_on_compute=None, overwrite=False)Paramètres
| Nom | Description |
|---|---|
|
path_on_compute
|
Chemin d’accès sur le calcul pour la référence de données. Valeur par défaut: None
|
|
overwrite
|
Indique s’il faut remplacer les données existantes. Valeur par défaut: False
|
Retours
| Type | Description |
|---|---|
|
Nouvel objet de référence de données. |
create
Créez une DataReference à l’aide de DataPath et DataPathComputeBinding.
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)Paramètres
| Nom | Description |
|---|---|
|
data_reference_name
|
Nom de la référence de données à créer. Valeur par défaut: None
|
|
datapath
|
[Obligatoire] Chemin de données à utiliser. Valeur par défaut: None
|
|
datapath_compute_binding
|
[Obligatoire] Liaison de calcul datapath à utiliser. Valeur par défaut: None
|
Retours
| Type | Description |
|---|---|
|
Objet DataReference. |
path
Créez une instance DataReference en fonction du chemin d’accès donné.
path(path=None, data_reference_name=None)Paramètres
| Nom | Description |
|---|---|
|
path
|
Chemin d’accès du magasin de données. Valeur par défaut: None
|
|
data_reference_name
|
Nom de la référence de données. Valeur par défaut: None
|
Retours
| Type | Description |
|---|---|
|
Objet de référence de données. |
to_config
Convertissez l’objet DataReference en objet DataReferenceConfiguration.
to_config()Retours
| Type | Description |
|---|---|
|
Nouvel objet DataReferenceConfiguration. |