Перейти к основному содержимому
Перейти к основному содержимому

Работа с данными Avro, Arrow и ORC в ClickHouse

Apache выпустила несколько форматов данных, активно используемых в аналитических средах, включая популярные Avro, Arrow и Orc. ClickHouse поддерживает импорт и экспорт данных, используя любой из этих форматов.

Импорт и экспорт в формате Avro​

ClickHouse поддерживает чтение и запись файлов данных Apache Avro, которые широко используются в системах Hadoop.

Для импорта из avro файла следует использовать формат Avro в операторе INSERT:

С помощью функции file() мы также можем исследовать файлы Avro до фактического импорта данных:

Для экспорта в Avro файл:

Типы данных Avro и ClickHouse​

Учитывайте соответствие типов данных при импорте или экспорте файлов Avro. Используйте явное преобразование типов для загрузки данных из файлов Avro:

Сообщения Avro в Kafka​

Когда сообщения Kafka используют формат Avro, ClickHouse может читать такие потоки, используя формат AvroConfluent и движок Kafka:

Работа с форматом Arrow​

Другой столбцовый формат - это Apache Arrow, также поддерживаемый ClickHouse для импорта и экспорта. Для импорта данных из Arrow файла мы используем формат Arrow:

Экспорт в файл Arrow выполняется аналогичным образом:

Также проверьте соответствие типов данных, чтобы узнать, нужно ли что-то вручную преобразовать.

Потоковая передача данных Arrow​

Формат ArrowStream можно использовать для работы с потоковой передачей Arrow (используется для обработки в памяти). ClickHouse может читать и писать потоки Arrow.

Чтобы продемонстрировать, как ClickHouse может передавать данные Arrow, давайте направим его на следующий python-скрипт (он читает входной поток в формате потоковой передачи Arrow и выводит результат в виде таблицы Pandas):

Теперь мы можем передавать данные из ClickHouse, перенаправляя его вывод в скрипт:

ClickHouse также может читать потоки Arrow, используя тот же формат ArrowStream:

Мы использовали arrow-stream в качестве возможного источника потоковых данных Arrow.

Импорт и экспорт данных ORC​

Формат Apache ORC является столбцовым форматом хранения, обычно используемым для Hadoop. ClickHouse поддерживает импорт и экспорт Orc данных, используя формат ORC:

Также проверьте соответствие типов данных, а также дополнительные настройки для настройки экспорта и импорта.

Дальнейшее чтение​

ClickHouse вводит поддержку множества форматов, как текстовых, так и двоичных, чтобы охватывать различные сценарии и платформы. Изучите больше форматов и способов работы с ними в следующих статьях:

Также проверьте clickhouse-local - портативный полнофункциональный инструмент для работы с локальными/удаленными файлами без необходимости в сервере ClickHouse.