Перейти к основному содержимому
Перейти к основному содержимому

Интеграция с ClickHouse Cloud

Введение​

ClickPipes — это управляемая платформа интеграции, которая делает прием данных из разнообразных источников таким же простым, как нажать несколько кнопок. Разработанная для самых требовательных рабочих нагрузок, надежная и масштабируемая архитектура ClickPipes обеспечивает стабильную производительность и надежность. ClickPipes может использоваться как для долгосрочной потоковой передачи данных, так и для однократной загрузки данных.

Поддерживаемые источники данных​

НазваниеЛоготипТипСтатусОписание
Apache KafkaПотоковыеСтабильноНастройте ClickPipes и начните принимать потоковые данные из Apache Kafka в ClickHouse Cloud.
Confluent CloudПотоковыеСтабильноОсвободите совокупную мощь Confluent и ClickHouse Cloud через нашу прямую интеграцию.
RedpandaПотоковыеСтабильноНастройте ClickPipes и начните принимать потоковые данные из Redpanda в ClickHouse Cloud.
AWS MSKПотоковыеСтабильноНастройте ClickPipes и начните принимать потоковые данные из AWS MSK в ClickHouse Cloud.
Azure Event HubsПотоковыеСтабильноНастройте ClickPipes и начните принимать потоковые данные из Azure Event Hubs в ClickHouse Cloud.
WarpStreamПотоковыеСтабильноНастройте ClickPipes и начните принимать потоковые данные из WarpStream в ClickHouse Cloud.
Amazon S3Объектное хранилищеСтабильноНастройте ClickPipes для приема больших объемов данных из объектного хранилища.
Google Cloud StorageОбъектное хранилищеСтабильноНастройте ClickPipes для приема больших объемов данных из объектного хранилища.
Amazon KinesisПотоковыеСтабильноНастройте ClickPipes и начните принимать потоковые данные из Amazon Kinesis в ClickHouse Cloud.
PostgresСУБДОткрытая бетаНастройте ClickPipes и начните принимать данные из Postgres в ClickHouse Cloud.

Будут добавлены новые коннекторы в ClickPipes, вы можете узнать больше, связавшись с нами.

Список статических IP-адресов​

Следующие статические NAT IP-адреса (разделенные по регионам), которые ClickPipes использует для подключения к вашим внешним сервисам. Добавьте IP-адреса вашего региона экземпляра в разрешенный список IP, чтобы разрешить трафик. Если ваш регион экземпляра не указан здесь, он будет относиться к региону по умолчанию:

  • eu-central-1 для регионов ЕС
  • us-east-1 для экземпляров в us-east-1
  • us-east-2 для всех остальных регионов
Регион ClickHouse CloudIP-адреса
eu-central-118.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
us-east-23.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
us-east-154.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150

Настройка параметров ClickHouse​

ClickHouse Cloud предоставляет разумные параметры по умолчанию для большинства случаев использования. Однако если вам нужно настроить некоторые параметры ClickHouse для таблиц назначения ClickPipes, специализированная роль для ClickPipes является самым гибким решением. Шаги:

  1. создайте пользовательскую роль CREATE ROLE my_clickpipes_role SETTINGS .... См. синтаксис CREATE ROLE для получения деталей.
  2. добавьте пользовательскую роль к пользователю ClickPipes на шаге Details and Settings во время создания ClickPipes.

Сообщение об ошибках​

ClickPipes создаст таблицу рядом с вашей таблицей назначения с постфиксом <destination_table_name>_clickpipes_error. Эта таблица будет содержать любые ошибки, возникающие в ходе работы вашего ClickPipe (сеть, подключение и т. д.), а также любые данные, которые не соответствуют схеме. Таблица ошибок имеет TTL в 7 дней. Если ClickPipes не может подключиться к источнику данных или назначению после 15 минут, экземпляр ClickPipes останавливается и сохраняет соответствующее сообщение в таблице ошибок (при условии, что экземпляр ClickHouse доступен).

ЧаВо​

  • Что такое ClickPipes?

    ClickPipes — это функция ClickHouse Cloud, которая упрощает пользователям подключение своих служб ClickHouse к внешним источникам данных, особенно Kafka. С помощью ClickPipes для Kafka пользователи могут легко непрерывно загружать данные в ClickHouse, делая их доступными для аналитики в реальном времени.

  • Поддерживает ли ClickPipes преобразование данных?

    Да, ClickPipes поддерживает базовое преобразование данных, предоставляя создание DDL. Вы можете затем применять более сложные преобразования к данным по мере их загрузки в таблицу назначения в службе ClickHouse Cloud с использованием функции материализованных представлений.

  • Влечет ли использование ClickPipes дополнительные затраты?

    ClickPipes тарифицируется по двум параметрам: Объем данных и Вычисления. Полные детали о ценообразовании доступны на этой странице. Запуск ClickPipes также может генерировать косвенные затраты на вычисления и хранение в службе ClickHouse Cloud, аналогично любой рабочей нагрузке на прием данных.

  • Существует ли способ обработки ошибок или сбоев при использовании ClickPipes для Kafka?

    Да, ClickPipes для Kafka автоматически повторит попытки в случае сбоев при потреблении данных из Kafka. ClickPipes также поддерживает включение специализированной таблицы ошибок, которая будет хранить ошибки и неправильно сформированные данные в течение 7 дней.