quality-monitors 命令组

Note

此信息适用于 Databricks CLI 版本 0.205 及更高版本。 The Databricks CLI is in Public Preview.

Databricks CLI use is subject to the Databricks License and Databricks Privacy Notice, including any Usage Data provisions.

The quality-monitors command group within the Databricks CLI contains commands to create, edit, and delete quality monitors. 监视器会随时间推移计算和监视表的数据或模型质量指标。 它生成指标表和仪表板,可用于监视表运行状况并设置警报。 请参阅 Databricks Lakehouse 监控简介

databricks 质量监视器创建

为指定的表创建新的监视器。

调用方必须:

  1. 是表的父目录的所有者, USE_SCHEMA 对表的父架构具有 SELECT 访问权限
  2. 具有 USE_CATALOG 表的父目录,是表的父架构的所有者,并且对表具有 SELECT 访问权限。
  3. 具有以下权限:
    • USE_CATALOG 表的父目录
    • USE_SCHEMA 表的父架构
    • 是表的所有者。

工作区资产(如仪表板)将在进行此调用的工作区中创建。

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

ASSETS_DIR

    用于存储监视资产的目录(例如仪表板、指标表)。

OUTPUT_SCHEMA_NAME

    用于创建输出指标表的架构。

选项

--baseline-table-name string

    从中计算偏移指标的基线表的名称。

--json JSON

    内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。

--skip-builtin-dashboard

    是否跳过创建汇总数据质量指标的默认仪表板。

--warehouse-id string

    用于为创建仪表板指定仓库的可选参数。

Global flags

Examples

以下示例为表创建质量监视器:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

databricks 质量监视器删除

删除指定表的监视器。

调用方必须:

  1. 是表的父目录的所有者
  2. 具有 USE_CATALOG 表的父目录,并且是表的父架构的所有者
  3. 具有以下权限:
    • USE_CATALOG 表的父目录
    • USE_SCHEMA 表的父架构
    • 是表的所有者。

此外,必须从创建监视器的工作区进行调用。

请注意,指标表和仪表板不会作为此调用的一部分删除;必须手动清理这些资产(如果需要)。

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

Global flags

Examples

以下示例删除质量监视器:

databricks quality-monitors delete main.my_schema.my_table

databricks 质量监视器获取

获取指定表的监视器。

调用方必须:

  1. 是表的父目录的所有者
  2. 具有 USE_CATALOG 表的父目录,并且是表的父架构的所有者。
  3. 具有以下权限:
    • USE_CATALOG 表的父目录
    • USE_SCHEMA 表的父架构
    • 对表的 SELECT 特权。

返回的信息包括配置值,以及监视器创建的资产的相关信息。 如果调用方位于与创建监视器的位置不同的工作区中,可能会筛选出某些信息(例如仪表板)。

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

Global flags

Examples

以下示例获取有关质量监视器的信息:

databricks quality-monitors get main.my_schema.my_table

databricks 质量监视器 get-refresh

使用给定的刷新 ID 获取有关特定监视器刷新的信息。

调用方必须:

  1. 是表的父目录的所有者
  2. 具有 USE_CATALOG 表的父目录,并且是表的父架构的所有者
  3. 具有以下权限:
    • USE_CATALOG 表的父目录
    • USE_SCHEMA 表的父架构
    • 对表的 SELECT 特权。

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    表的全名。

REFRESH_ID

    刷新的 ID。

选项

Global flags

Examples

以下示例获取有关特定刷新的信息:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

databricks quality-monitors list-refreshes

列出此表的最新刷新(最多为 25 次)的历史记录。

调用方必须:

  1. 是表的父目录的所有者
  2. 具有 USE_CATALOG 表的父目录,并且是表的父架构的所有者
  3. 具有以下权限:
    • USE_CATALOG 表的父目录
    • USE_SCHEMA 表的父架构
    • 对表的 SELECT 特权。

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

Global flags

Examples

以下示例列出了质量监视器的刷新:

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks 质量监视器运行刷新

在监视器上为指定表排队刷新指标。 刷新将在后台执行。

调用方必须:

  1. 是表的父目录的所有者
  2. 具有 USE_CATALOG 表的父目录,并且是表的父架构的所有者
  3. 具有以下权限:
    • USE_CATALOG 表的父目录
    • USE_SCHEMA 表的父架构
    • 是表的所有者

此外,必须从创建监视器的工作区进行调用。

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

选项

Global flags

Examples

以下示例对质量监视器的刷新进行排队:

databricks quality-monitors run-refresh main.my_schema.my_table

databricks 质量监视器更新

更新指定表的监视器。

调用方必须:

  1. 是表的父目录的所有者
  2. 具有 USE_CATALOG 表的父目录,并且是表的父架构的所有者
  3. 具有以下权限:
    • USE_CATALOG 表的父目录
    • USE_SCHEMA 表的父架构
    • 是表的所有者。

此外,必须从创建监视器的工作区进行调用,并且调用方必须是监视器的原始创建者。

某些配置字段(如输出资产标识符)无法更新。

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    表的全名。

OUTPUT_SCHEMA_NAME

    用于创建输出指标表的架构。

选项

--baseline-table-name string

    从中计算偏移指标的基线表的名称。

--dashboard-id string

    可视化计算指标的仪表板的 ID。

--json JSON

    内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。

Global flags

Examples

以下示例更新质量监视器:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

以下示例使用新的基线表更新质量监视器:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Global flags

--debug

  是否启用调试日志记录。

-h--help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型或 textjson。 默认值是 text

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型或 textjson。 默认值是 text

-p, --profile 字符串

    用于运行命令的文件中配置文件 ~/.databrickscfg 的名称。 如果未指定此标志,则如果存在,则使用命名 DEFAULT 的配置文件。

--progress-format 格式

    显示进度日志的格式: defaultappendinplacejson

-t, --target 字符串

    如果适用,要使用的捆绑包目标