Табличная функция hudiCluster

Это расширение для табличной функции hudi.

Позволяет обрабатывать файлы из таблиц Apache Hudi в Amazon S3 параллельно с множеством узлов в указанном кластере. На инициаторе создается подключение ко всем узлам кластера, и каждый файл динамически распределяется. На рабочем узле он запрашивает у инициатора следующую задачу для обработки и выполняет её. Это повторяется, пока все задачи не будут завершены.

Синтаксис

Аргументы

cluster_name — Имя кластера, которое используется для формирования набора адресов и параметров подключения к удалённым и локальным серверам.
Описание всех остальных аргументов совпадает с описанием аргументов в эквивалентной табличной функции hudi.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера в указанной таблице Hudi в S3.

Смотрите также