HDFSOutputDatasetConfig 类

表示如何输出到 HDFS 路径,并将其提升为 FileDataset。

初始化 HDFSOutputDatasetConfig。

构造函数

HDFSOutputDatasetConfig(name=None, destination=None)

参数

名称 说明
name
必需
str

特定于此运行的输出的名称。 这通常用于世系目的。 如果设置为“无”,我们将自动生成名称。

destination
必需

输出的目标。 如果设置为 None,则会将其输出到 workspaceblobstore 数据存储,在路径 /dataset/{run-id}/{output-name}下,其中 run-id 是 Run 的 ID, 输出名称 是上述 名称 参数的输出名称。 目标是元组,其中第一项是数据存储,第二项是数据存储中的路径。

注解

可以将 HDFSOutputDatasetConfig 作为运行的参数传递,并且它将自动转换为 HDFS 路径。

方法

as_input

指定如何在后续管道步骤中使用输出作为输入。

as_input

指定如何在后续管道步骤中使用输出作为输入。

as_input(name=None)

参数

名称 说明
name
必需
str

特定于运行的输入的名称。

返回

类型 说明

描述 DatasetConsumptionConfig 如何传递输入数据的实例。