Note
此信息适用于 Databricks CLI 版本 0.205 及更高版本。 The Databricks CLI is in Public Preview.
Databricks CLI use is subject to the Databricks License and Databricks Privacy Notice, including any Usage Data provisions.
The quality-monitors
command group within the Databricks CLI contains commands to create, edit, and delete quality monitors. 监视器会随时间推移计算和监视表的数据或模型质量指标。 它生成指标表和仪表板,可用于监视表运行状况并设置警报。 请参阅 Databricks Lakehouse 监控简介。
databricks 质量监视器创建
为指定的表创建新的监视器。
调用方必须:
- 是表的父目录的所有者,
USE_SCHEMA
对表的父架构具有SELECT
访问权限 - 具有
USE_CATALOG
表的父目录,是表的父架构的所有者,并且对表具有SELECT
访问权限。 - 具有以下权限:
-
USE_CATALOG
表的父目录 -
USE_SCHEMA
表的父架构 - 是表的所有者。
-
工作区资产(如仪表板)将在进行此调用的工作区中创建。
databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]
Arguments
TABLE_NAME
表的全名。
ASSETS_DIR
用于存储监视资产的目录(例如仪表板、指标表)。
OUTPUT_SCHEMA_NAME
用于创建输出指标表的架构。
选项
--baseline-table-name string
从中计算偏移指标的基线表的名称。
--json JSON
内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。
--skip-builtin-dashboard
是否跳过创建汇总数据质量指标的默认仪表板。
--warehouse-id string
用于为创建仪表板指定仓库的可选参数。
Examples
以下示例为表创建质量监视器:
databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema
databricks 质量监视器删除
删除指定表的监视器。
调用方必须:
- 是表的父目录的所有者
- 具有
USE_CATALOG
表的父目录,并且是表的父架构的所有者 - 具有以下权限:
-
USE_CATALOG
表的父目录 -
USE_SCHEMA
表的父架构 - 是表的所有者。
-
此外,必须从创建监视器的工作区进行调用。
请注意,指标表和仪表板不会作为此调用的一部分删除;必须手动清理这些资产(如果需要)。
databricks quality-monitors delete TABLE_NAME [flags]
Arguments
TABLE_NAME
表的全名。
选项
Examples
以下示例删除质量监视器:
databricks quality-monitors delete main.my_schema.my_table
databricks 质量监视器获取
获取指定表的监视器。
调用方必须:
- 是表的父目录的所有者
- 具有
USE_CATALOG
表的父目录,并且是表的父架构的所有者。 - 具有以下权限:
-
USE_CATALOG
表的父目录 -
USE_SCHEMA
表的父架构 - 对表的
SELECT
特权。
-
返回的信息包括配置值,以及监视器创建的资产的相关信息。 如果调用方位于与创建监视器的位置不同的工作区中,可能会筛选出某些信息(例如仪表板)。
databricks quality-monitors get TABLE_NAME [flags]
Arguments
TABLE_NAME
表的全名。
选项
Examples
以下示例获取有关质量监视器的信息:
databricks quality-monitors get main.my_schema.my_table
databricks 质量监视器 get-refresh
使用给定的刷新 ID 获取有关特定监视器刷新的信息。
调用方必须:
- 是表的父目录的所有者
- 具有
USE_CATALOG
表的父目录,并且是表的父架构的所有者 - 具有以下权限:
-
USE_CATALOG
表的父目录 -
USE_SCHEMA
表的父架构 - 对表的
SELECT
特权。
-
此外,必须从创建监视器的工作区进行调用。
databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]
Arguments
TABLE_NAME
表的全名。
REFRESH_ID
刷新的 ID。
选项
Examples
以下示例获取有关特定刷新的信息:
databricks quality-monitors get-refresh main.my_schema.my_table 12345
databricks quality-monitors list-refreshes
列出此表的最新刷新(最多为 25 次)的历史记录。
调用方必须:
- 是表的父目录的所有者
- 具有
USE_CATALOG
表的父目录,并且是表的父架构的所有者 - 具有以下权限:
-
USE_CATALOG
表的父目录 -
USE_SCHEMA
表的父架构 - 对表的
SELECT
特权。
-
此外,必须从创建监视器的工作区进行调用。
databricks quality-monitors list-refreshes TABLE_NAME [flags]
Arguments
TABLE_NAME
表的全名。
选项
Examples
以下示例列出了质量监视器的刷新:
databricks quality-monitors list-refreshes main.my_schema.my_table
databricks 质量监视器运行刷新
在监视器上为指定表排队刷新指标。 刷新将在后台执行。
调用方必须:
- 是表的父目录的所有者
- 具有
USE_CATALOG
表的父目录,并且是表的父架构的所有者 - 具有以下权限:
-
USE_CATALOG
表的父目录 -
USE_SCHEMA
表的父架构 - 是表的所有者
-
此外,必须从创建监视器的工作区进行调用。
databricks quality-monitors run-refresh TABLE_NAME [flags]
Arguments
TABLE_NAME
表的全名。
选项
Examples
以下示例对质量监视器的刷新进行排队:
databricks quality-monitors run-refresh main.my_schema.my_table
databricks 质量监视器更新
更新指定表的监视器。
调用方必须:
- 是表的父目录的所有者
- 具有
USE_CATALOG
表的父目录,并且是表的父架构的所有者 - 具有以下权限:
-
USE_CATALOG
表的父目录 -
USE_SCHEMA
表的父架构 - 是表的所有者。
-
此外,必须从创建监视器的工作区进行调用,并且调用方必须是监视器的原始创建者。
某些配置字段(如输出资产标识符)无法更新。
databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]
Arguments
TABLE_NAME
表的全名。
OUTPUT_SCHEMA_NAME
用于创建输出指标表的架构。
选项
--baseline-table-name string
从中计算偏移指标的基线表的名称。
--dashboard-id string
可视化计算指标的仪表板的 ID。
--json JSON
内联 JSON 字符串或 @path 包含请求正文的 JSON 文件的 JSON 文件。
Examples
以下示例更新质量监视器:
databricks quality-monitors update main.my_schema.my_table main.monitoring_schema
以下示例使用新的基线表更新质量监视器:
databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline
Global flags
--debug
是否启用调试日志记录。
-h
或 --help
显示 Databricks CLI、相关命令组或相关命令的帮助。
--log-file
字符串
一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。
--log-format
格式
日志格式类型或 text
json
。 默认值是 text
。
--log-level
字符串
一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。
-o, --output
类型
命令输出类型或 text
json
。 默认值是 text
。
-p, --profile
字符串
用于运行命令的文件中配置文件 ~/.databrickscfg
的名称。 如果未指定此标志,则如果存在,则使用命名 DEFAULT
的配置文件。
--progress-format
格式
显示进度日志的格式: default
、 append
、 inplace
或 json
-t, --target
字符串
如果适用,要使用的捆绑包目标