Поделиться через

Характеристики производительности инвентаризации объектов BLOB

Инвентаризация BLOB-объектов службы хранилища Azure — это важное средство для управления и отслеживания объектов, хранящихся в учетной записи хранения BLOB-объектов Azure. Он предоставляет полный обзор ресурсов хранилища, что позволяет принимать обоснованные решения об управлении данными и оптимизации затрат.

После включения отчетов инвентаризации BLOB-объектов объекты в учетной записи хранения периодически сканируются с помощью правил, определенных в политике инвентаризации. Время создания отчета инвентаризации зависит от нескольких факторов. Эти факторы включают количество объектов, структуру каталогов, фильтры, применяемые через подтипы правил, рабочую нагрузку клиента в учетной записи хранения, доступность ресурсов хранилища и многое другое. В некоторых случаях в зависимости от этих факторов может потребоваться несколько дней, чтобы завершить обработку всех объектов в учетной записи хранения. Производительность инвентаризации также может отличаться от проверок, а иногда и во время сканирования.

Факторы, влияющие на производительность инвентаризации BLOB-объектов

При использовании инвентаризации BLOB-объектов для создания отчета инвентаризации несколько ключевых факторов могут повлиять на его производительность. Общие сведения об этих факторах помогут оптимизировать процессы инвентаризации и обеспечить эффективное управление данными.

Распределение объектов в учетных записях с поддержкой иерархического пространства имен

Распределение объектов в учетной записи с поддержкой иерархического пространства имен может значительно повлиять на производительность инвентаризации. Инвентаризация BLOB-объектов сканирует один каталог за раз и завершает проверку перед переходом к следующему каталогу. Поэтому большое количество каталогов, особенно с разреженным распределением объектов и глубоким вложением, может увеличить время, необходимое для создания отчета инвентаризации.

Количество объектов, обработанных для правила инвентаризации

Общее количество объектов, отсканированных на основе правила инвентаризации, является ключевым фактором производительности обработки. Правила, предназначенные для большого объема объектов, требуют больше времени и ресурсов для создания отчета инвентаризации. Число обрабатываемых объектов увеличивается, если правило инвентаризации включает версии, моментальные снимки и обратимо удаленные объекты. Если эти подтипы существуют в больших объемах, они могут дополнительно расширить время обработки, необходимое для создания отчета инвентаризации.

Формат экспорта отчета инвентаризации

Выбранный формат экспорта для отчета инвентаризации (CSV или Apache Parquet) может повлиять на производительность. Хотя Parquet оптимизирован для быстрой обработки данных, это позволяет замедлить создание отчетов по сравнению с CSV-файлом.

Большое количество обратимо удаленных объектов

Обратимо удаленные объекты, хотя и не окончательно удалены, по-прежнему включены в проверки инвентаризации. Большой объем этих объектов может добавить время обработки и снизить производительность. Учитывая эти факторы, вы можете повысить производительность выполнения инвентаризации и повысить эффективность управления данными.

Рекомендации по повышению производительности инвентаризации BLOB-объектов

Эффективное управление хранилищем BLOB-объектов Azure важно для обеспечения оптимальной производительности и экономичности. Ниже приведены некоторые рекомендации по повышению производительности инвентаризации BLOB-объектов службы хранилища Azure.

Избегайте разреженных учетных записей в иерархических учетных записях с поддержкой пространства имен

Разреженные учетные записи — это те, которые содержат большое количество объектов, распределенных по многим каталогам. Эти каталоги могут или не включают глубоко вложенные структуры. Разреженные учетные записи приводят к очень низкому соотношению между файлами и каталогами, что может привести к неэффективности создания отчетов инвентаризации и даже привести к сбоям. Чтобы устранить эти неэффективности, убедитесь, что ваша иерархическая учетная запись хранения с поддержкой пространства имен хорошо организована и избегайте разреженного распределения объектов.

Использование CSV для формата экспорта

При создании отчетов инвентаризации выберите формат CSV, если для вашего варианта использования не требуется быстрая обработка данных. Parquet — это формат файла хранилища столбцов, оптимизированный для производительности и один из самых быстрых форматов для чтения для обработки данных. Однако формат parquet может увеличить время, необходимое для создания отчетов из-за его накладных расходов, что делает его медленнее, чем создание отчета в формате CSV. Если вам нужен формат parquet для последующей обработки отчета, вы можете использовать доступные средства с открытым исходным кодом, которые преобразуют CSV-файл в формат parquet.

Определение области правила инвентаризации с помощью префикса

Вместо выполнения инвентаризации во всей учетной записи хранения используйте фильтр сопоставления префикса для создания отчета инвентаризации для определенных подмножеств данных.

  • Включить префикс: этот фильтр предназначен для набора контейнеров или путей в контейнере. Этот подход помогает сузить область отчета инвентаризации, что делает процесс более быстрым и более эффективным.

  • Исключить префикс: используйте этот фильтр для исключения определенного подмножества из него. Этот подход также помогает сузить область отчета инвентаризации. Дополнительные сведения см. в разделе "Фильтры правил"

Выбор соответствующих полей

Настройте отчеты инвентаризации, выбрав только нужные поля. Это сокращает объем обработанных и экспортированных данных, что приводит к более быстрому поколению отчетов и упрощению анализа. Дополнительные сведения о полях схемы инвентаризации см. в разделе "Настраиваемые поля схемы", поддерживаемые для инвентаризации BLOB-объектов.

Включение подтипа: удаленные объекты, моментальные снимки и версии

Несмотря на то, что эти подтипы могут предоставлять более полное представление учетной записи хранения, важно оценить, являются ли они важными для ваших потребностей аудита и управления. Если они не являются критически важными, исключение может помочь повысить производительность и эффективность процесса создания отчетов. Чтобы определить объекты, удаленные в последних запусках инвентаризации, сравните имена BLOB-объектов из текущего запуска с предыдущим запуском. Разница может предоставить список недавно удаленных объектов.

Подписка на события инвентаризации BLOB-объектов

Оставайтесь в курсе ошибок, вызванных пользователем, подписавшись на события инвентаризации BLOB-объектов. Этот упреждающий подход помогает быстро устранять проблемы. Дополнительные сведения о том, как подписаться на события инвентаризации, см. в статье "Подписка на завершенное событие инвентаризации BLOB-объектов".

Мониторинг непредвиденных увеличений емкости

Обратите внимание на непредвиденные пики емкости учетной записи хранения, так как они могут сигнализировать о накоплении версий BLOB-объектов, моментальных снимков или обратимо удаленных объектов. Мониторинг этих изменений позволяет обнаруживать и устранять потенциальные проблемы, прежде чем они влияют на производительность. Кроме того, управление жизненным циклом этих объектов может предотвратить ненужные сборки и повысить производительность инвентаризации BLOB-объектов. Дополнительные сведения об управлении жизненным циклом BLOB-объектов см. в обзоре управления жизненным циклом хранилища BLOB-объектов Azure

Следуя этим рекомендациям, вы можете повысить производительность инвентаризации BLOB-объектов, обеспечивая эффективное и эффективное управление хранилищем BLOB-объектов Azure.

Дальнейшие шаги