Настройка производительности для отправки и скачивания с помощью Go

2025-05-03

Когда приложение передает данные с помощью клиентской библиотеки службы хранилища Azure для Go, существует несколько факторов, которые могут повлиять на скорость, использование памяти и даже на успех или сбой запроса. Чтобы максимизировать производительность и надежность передачи данных, важно проактивно настраивать параметры передачи клиентской библиотеки в зависимости от среды, в которой работает ваше приложение.

В этой статье рассматриваются некоторые рекомендации по настройке параметров передачи данных. При правильной настройке клиентская библиотека может эффективно распределять данные по нескольким запросам, что может привести к повышению скорости операций, использованию памяти и стабильности сети.

Настройка производительности для отправки

Правильная настройка параметров передачи данных является ключом к надежной производительности для отправки. Передача хранилища секционируется на несколько подтрансферов на основе значений этих свойств. Максимальный поддерживаемый размер передачи зависит от версии операции и службы, поэтому обязательно проверьте документацию, чтобы определить ограничения. Дополнительные сведения об ограничениях размера передачи для хранилища BLOB-объектов см. в разделе "Целевые объекты масштабирования" для хранилища BLOB-объектов.

Настройка параметров передачи для отправки

Если общий размер большого двоичного объекта меньше или равен 256 МБ, данные передаются с одним запросом Put Blob. Если размер большого двоичного объекта превышает 256 МБ или размер большого двоичного объекта неизвестен, большой двоичный объект отправляется в блоки с помощью ряда вызовов Put Block , за которым следует put Block List.

Следующие свойства можно настроить и оптимизировать на основе потребностей вашего приложения.

BlockSize: максимальная длина передачи в байтах при отправке блочного объекта по частям. Значение по умолчанию — 4 МБ.
Concurrency: максимальное количество подтрансферов, которые можно использовать параллельно. Значение по умолчанию — 5.

Эти параметры конфигурации доступны при отправке с помощью следующих методов:

Метод Upload не поддерживает эти параметры и передает данные в одном запросе.

Замечание

Клиентские библиотеки используют значения по умолчанию для каждого параметра передачи данных, если они не указаны. Эти значения по умолчанию обычно эффективны в среде центра обработки данных, но, скорее всего, не подходят для домашнего использования. Плохо настроенные параметры передачи данных могут привести к чрезмерно длительным операциям и даже времени ожидания запросов. Рекомендуется проактивно протестировать эти значения и настроить их на основе потребностей приложения и среды.

Размер блока

Аргумент BlockSize является максимальной длиной передачи в байтах при отправке блочного BLOB-объекта по частям.

Для эффективного перемещения данных клиентские библиотеки могут не всегда достигать значения BlockSize каждого трансфера. В зависимости от операции максимальный поддерживаемый размер передачи может отличаться. Дополнительные сведения об ограничениях размера передачи для хранилища BLOB-объектов см. на диаграмме в разделе Целевые показатели масштабируемости для хранилища BLOB-объектов.

Пример кода

В следующем примере кода показано, как определить значения для экземпляра UploadFileOptions и передать эти параметры конфигурации в качестве параметра в UploadFile.

Значения, указанные в этом примере, не предназначены для рекомендации. Чтобы правильно настроить эти значения, необходимо учитывать конкретные потребности приложения.

func uploadBlobWithTransferOptions(client *azblob.Client, containerName string, blobName string) {
    // Open the file for reading
    file, err := os.OpenFile("path/to/sample/file", os.O_RDONLY, 0)
    handleError(err)

    defer file.Close()

    // Upload the data to a block blob with transfer options
    _, err = client.UploadFile(context.TODO(), containerName, blobName, file,
        &azblob.UploadFileOptions{
            BlockSize:   int64(8 * 1024 * 1024), // 8 MiB
            Concurrency: uint16(2),
        })
    handleError(err)
}

В этом примере мы установили количество параллельных рабочих процессов передачи на 2, используя поле Concurrency. Эта конфигурация открывает до двух подключений одновременно, что позволяет выполнять отправку параллельно. Если размер блоба превышает 256 МБ, он загружается частями с максимальным размером части 8 МиБ, как указано в Block_Size поле.

Настройка производительности для загрузки

Правильная настройка параметров передачи данных является ключом к надежной производительности для загрузки. Передача хранилища секционируется на несколько подтрансферов на основе значений этих свойств.

Настройка параметров передачи для скачивания

Следующие свойства можно настроить на основе потребностей приложения:

BlockSize: максимальный размер блока, используемый для скачивания большого двоичного объекта. Значение по умолчанию — 4 МБ.
Concurrency: максимальное количество подтрансферов, которые можно использовать параллельно. Значение по умолчанию — 5.

Эти параметры доступны при скачивании с помощью следующих методов:

Метод DownloadStream не поддерживает эти параметры и загружает данные в одном запросе.

Пример кода

В следующем примере кода показано, как определить значения для экземпляра DownloadFileOptions и передать эти параметры конфигурации в качестве параметра в DownloadFile.

func downloadBlobTransferOptions(client *azblob.Client, containerName string, blobName string) {
    // Create or open a local file where we can download the blob
	file, err := os.Create("path/to/sample/file")
	handleError(err)

	// Download the blob to the local file
	_, err = client.DownloadFile(context.TODO(), containerName, blobName, file,
		&azblob.DownloadFileOptions{
			BlockSize:   int64(4 * 1024 * 1024), // 4 MiB
			Concurrency: uint16(2),
		})
	handleError(err)
}

Поделиться через

Настройка производительности для отправки и скачивания с помощью Go