Сравнение ClickHouse Cloud и Amazon Redshift

Миграция с Amazon Redshift на ClickHouse

В этом документе приводится введение в миграцию данных из Amazon Redshift в ClickHouse.

​

Введение

Amazon Redshift — это облачное хранилище данных, предоставляющее возможности для формирования отчетов и аналитики структурированных и полуструктурированных данных. Оно было разработано для обработки аналитических рабочих нагрузок на больших наборах данных с использованием принципов столбцовой базы данных, аналогичных ClickHouse. Как часть предложения AWS, оно часто оказывается решением по умолчанию, к которому пользователи AWS обращаются для своих задач аналитики данных.

Хотя Redshift привлекателен для существующих пользователей AWS благодаря тесной интеграции с экосистемой Amazon, пользователи Redshift, которые используют его для поддержки приложений Real-time аналитики, часто приходят к выводу, что для этой задачи им требуется более оптимизированное решение. В результате они все чаще обращаются к ClickHouse, чтобы получить более высокую производительность запросов и лучшее сжатие данных — либо в качестве замены, либо как «скоростной слой», развернутый рядом с существующими рабочими нагрузками Redshift.

​

ClickHouse vs Redshift

Для пользователей, тесно связанных с экосистемой AWS, Redshift — естественный выбор, когда требуется хранилище данных. Redshift отличается от ClickHouse в одном важном аспекте: его движок оптимизирован под нагрузки хранилищ данных, где нужны сложная отчетность и аналитические запросы. Во всех вариантах развертывания следующие два ограничения затрудняют использование Redshift для аналитических нагрузок в реальном времени:

• Redshift компилирует код для каждого плана выполнения запроса, что создает значительные накладные расходы при первом выполнении запроса. Эти издержки могут быть оправданы, если шаблоны запросов предсказуемы, а скомпилированные планы выполнения можно хранить в кэше запросов. Однако это создает сложности для интерактивных приложений с меняющимися запросами. Даже когда Redshift может использовать этот кэш компиляции кода, ClickHouse быстрее в большинстве случаев. См. “ClickBench”.
• Redshift ограничивает параллелизм до 50 для всех очередей, что, хотя и достаточно для BI, делает его неподходящим для приложений с высокой степенью параллелизма.

Хотя ClickHouse тоже можно использовать для сложных аналитических запросов, он оптимизирован для аналитических нагрузок в реальном времени — как для самих приложений, так и в роли слоя ускорения хранилища данных. В результате пользователи Redshift обычно заменяют Redshift на ClickHouse или дополняют его ClickHouse по следующим причинам:

Advantage	Description
Более низкие задержки запросов	ClickHouse обеспечивает более низкие задержки запросов, в том числе при разнообразных шаблонах запросов, высоком параллелизме и потоковой вставке данных. Даже если запрос не попадает в кэш, что неизбежно в интерактивной аналитике для конечных пользователей, ClickHouse все равно обрабатывает его быстро.
Более высокие лимиты параллельных запросов	ClickHouse допускает значительно большее число параллельных запросов, что критически важно для приложений реального времени. В ClickHouse — как в самоуправляемых, так и в облачных развертываниях — можно масштабировать выделенные вычислительные ресурсы, чтобы обеспечить параллелизм, необходимый вашему приложению для каждого сервиса. Уровень допустимого параллелизма запросов в ClickHouse настраивается, а в ClickHouse Cloud по умолчанию используется значение 1000.
Более эффективное сжатие данных	ClickHouse обеспечивает более эффективное сжатие данных, что позволяет сократить общий объем хранилища (а значит, и стоимость) либо хранить больше данных при той же стоимости и получать больше инсайтов в реальном времени. См. ниже раздел “ClickHouse vs Redshift Storage Efficiency”.