HDFSOutputDatasetConfig 类
表示如何输出到 HDFS 路径,并将其提升为 FileDataset。
初始化 HDFSOutputDatasetConfig。
构造函数
HDFSOutputDatasetConfig(name=None, destination=None)
参数
名称 | 说明 |
---|---|
name
必需
|
特定于此运行的输出的名称。 这通常用于世系目的。 如果设置为“无”,我们将自动生成名称。 |
destination
必需
|
输出的目标。 如果设置为 None,则会将其输出到 workspaceblobstore 数据存储,在路径 /dataset/{run-id}/{output-name}下,其中 run-id 是 Run 的 ID, 输出名称 是上述 名称 参数的输出名称。 目标是元组,其中第一项是数据存储,第二项是数据存储中的路径。 |
注解
可以将 HDFSOutputDatasetConfig 作为运行的参数传递,并且它将自动转换为 HDFS 路径。
方法
as_input |
指定如何在后续管道步骤中使用输出作为输入。 |
as_input
指定如何在后续管道步骤中使用输出作为输入。
as_input(name=None)
参数
名称 | 说明 |
---|---|
name
必需
|
特定于运行的输入的名称。 |
返回
类型 | 说明 |
---|---|
描述 DatasetConsumptionConfig 如何传递输入数据的实例。 |