pipelines 命令组

Note

此信息适用于 Databricks CLI 版本 0.205 及更高版本。 The Databricks CLI is in Public Preview.

Databricks CLI use is subject to the Databricks License and Databricks Privacy Notice, including any Usage Data provisions.

The pipelines command group within the Databricks CLI allows you to create, edit, delete, start, and view details about pipelines. 请参阅 Lakeflow 声明性管道

databricks 管道创建

根据请求的配置创建新的数据处理管道。 如果成功,此命令将返回新管道的 ID。

databricks pipelines create [flags]

Arguments

None

选项

--json JSON

    内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。

Global flags

databricks 管道删除

删除管道。

databricks pipelines delete PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要删除的管道。

选项

Global flags

databricks 管道获取

获取管道。

databricks pipelines get PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要获取的管道。

选项

Global flags

databricks 管道 get-update

从活动管道获取更新。

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

Arguments

PIPELINE_ID

    管道的 ID。

UPDATE_ID

    更新的 ID。

选项

Global flags

databricks 管道 list-pipeline-events

检索管道的事件。

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要为其检索事件的管道。

选项

--filter string

    选择结果子集的条件,使用类似于 SQL 的语法表示。

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

Global flags

databricks 管道 list-pipelines

列出在 Delta Live Tables 系统中定义的管道。

databricks pipelines list-pipelines [flags]

Arguments

None

选项

--filter string

    根据指定的条件选择结果子集。

--max-results int

    在单个页面中返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

Global flags

databricks 管道 list-updates

列出活动管道的更新。

databricks pipelines list-updates PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要为其返回更新的管道。

选项

--max-results int

    单个页面中要返回的最大条目数。

--page-token string

    上一次调用返回的页面令牌。

--until-update-id string

    如果存在,则返回更新,直到并包括此update_id。

Global flags

databricks 管道 start-update

启动管道的新更新。 如果管道已有活动更新,则请求将失败,并且活动更新将保持运行状态。

databricks pipelines start-update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要为其启动更新的管道。

选项

--cause StartUpdateCause

    支持的值:[API_CALL、JOB_TASK、RETRY_ON_FAILURE、SCHEMA_CHANGE、SERVICE_UPGRADE、USER_ACTION]

--full-refresh

    如果为 true,此更新将在运行之前重置所有表。

--json JSON

    内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。

--validate-only

    如果为 true,此更新只会验证管道源代码的正确性,但不会具体化或发布任何数据集。

Global flags

databricks 管道停止

通过取消活动更新来停止管道。 如果管道没有活动更新,则此请求是 no-op。

databricks pipelines stop PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要停止的管道。

选项

--no-wait

    不要等待达到空闲状态

--timeout duration

    达到空闲状态的最大时间(默认为 20m0s)

Global flags

databricks 管道更新

使用提供的配置更新管道。

databricks pipelines update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    此管道的唯一标识符。

选项

--allow-duplicate-names

    如果为 false,则如果名称已更改并冲突另一个管道的名称,则部署将失败。

--budget-policy-id string

    此管道的预算策略。

--catalog string

    Unity Catalog 中要将数据从此管道发布到的目录。

--channel string

    DLT 发布通道,指定要使用的版本。

--continuous

    管道是连续运行的还是触发运行的。

--development

    管道是否处于开发模式。

--edition string

    管道产品版本。

--expected-last-modified int

    如果存在,则编辑前管道设置的最后修改时间。

--id string

    此管道的唯一标识符。

--json JSON

    内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。

--name string

    此管道的友好标识符。

--photon

    是否为此管道启用了 Photon。

--pipeline-id string

    此管道的唯一标识符。

--schema string

    作为表的读取来源或发布目标的默认架构(数据库)。

--serverless

    是否为此管道启用了无服务器计算。

--storage string

    用于存储检查点和表的 DBFS 根目录。

--target string

    要将此管道中的表添加到的目标架构(数据库)。

Global flags

databricks 管道 get-permission-levels

获取管道权限级别。

databricks pipelines get-permission-levels PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

Global flags

databricks 管道获取权限

获取管道的权限。 管道可以从其根对象继承权限。

databricks pipelines get-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

Global flags

databricks 管道集权限

设置管道权限。

设置对象的权限,替换现有权限(如果存在)。 如果未指定任何权限,则删除所有直接权限。 对象可以从其根对象继承权限。

databricks pipelines set-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

--json JSON

    内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。

Global flags

databricks 管道更新权限

更新管道的权限。 管道可以从其根对象继承权限。

databricks pipelines update-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    要为其获取或管理权限的管道。

选项

--json JSON

    内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。

Global flags

Global flags

--debug

  是否启用调试日志记录。

-h--help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型或 textjson。 默认值是 text

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型或 textjson。 默认值是 text

-p, --profile 字符串

    用于运行命令的文件中配置文件 ~/.databrickscfg 的名称。 如果未指定此标志,则如果存在,则使用命名 DEFAULT 的配置文件。

--progress-format 格式

    显示进度日志的格式: defaultappendinplacejson

-t, --target 字符串

    如果适用,要使用的捆绑包目标