DatabricksCluster 类

定义 Databricks 群集信息以供在 .DatabricksSection

初始化。

构造函数

DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)

参数

名称	说明
existing_cluster_id	str Databricks 工作区上现有交互式群集的群集 ID。如果指定此参数，则不应指定其他任何参数。默认值: None
spark_version	str Databricks 运行的群集的 Spark 版本。示例：“10.4.x-scala2.12”。默认值: None
node_type	str Databricks 运行的群集的 Azure VM 节点类型。示例：“Standard_D3_v2”。默认值: None
instance_pool_id	str 群集需要附加到的实例池 ID。默认值: None
num_workers	int Databricks 运行群集的辅助角色数。如果指定此参数， `min_workers` 则不应指定参数和 `max_workers` 参数。默认值: None
min_workers	int 自动缩放 Databricks 群集的最小辅助角色数。默认值: None
max_workers	int 自动缩放的 Databricks 运行群集的辅助角色数。默认值: None
spark_env_variables	dict(<xref:{str:str}>) Databricks 运行的群集的 Spark 环境变量。默认值: None
spark_conf	dict(<xref:{str:str}>) Databricks 运行的群集的 Spark 配置。默认值: None
init_scripts	list[str] 已弃用。 Databricks 宣布 DBFS 中存储的初始化脚本将在 2023 年 12 月 1 日后停止工作。若要缓解此问题，请 1）在 databricks 中使用全局初始化脚本，以下 https://learn.microsoft.com/azure/databricks/init-scripts/global 2）注释掉了 AzureML databricks 步骤中的init_scripts行。默认值: None
cluster_log_dbfs_path	str 需要传送群集日志的 DBFS 路径。默认值: None
permit_cluster_restart	bool 如果指定了existing_cluster_id，此参数将指示是否可以代表用户重启群集。默认值: None

方法

validate

验证指定的 Databricks 群集详细信息。

验证提供的参数类型以及是否提供了正确的参数组合。例如，需要指定 existing_cluster_id 或指定群集参数的其余部分。有关详细信息，请参阅构造函数参数定义。

validate

验证指定的 Databricks 群集详细信息。

validate()

例外

类型	说明
class:azureml.exceptions.UserErrorException

通过

DatabricksCluster 类

构造函数

参数

方法

validate

例外

反馈