Crunchy Bridge Postgres ソース設定ガイド

Crunchy Bridge Postgres を ClickPipes のソースとして設定する

ClickPipes は Postgres バージョン 12 以降に対応しています。

​

論理レプリケーションを有効にする

Crunchy Bridge では、デフォルトで論理レプリケーションが有効になっています。以下の設定が正しく構成されていることを確認し、必要に応じて調整してください。

SHOW wal_level; -- logical である必要があります
SHOW max_wal_senders; -- 10 である必要があります
SHOW max_replication_slots; -- 10 である必要があります

​

ClickPipes ユーザーの作成と権限の付与

postgres ユーザーで Crunchy Bridge Postgres に接続し、以下のコマンドを実行します。

1. ClickPipes 専用のユーザーを作成します。

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. 前の手順で作成したユーザーに、スキーマレベルの読み取り専用アクセス権を付与します。以下の例は public スキーマに対する権限です。レプリケーションするテーブルを含む各スキーマに対して、これらのコマンドを繰り返してください。

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. ユーザーにレプリケーション権限を付与します。

    ALTER USER clickpipes_user WITH REPLICATION;
   

4. レプリケーションするテーブルを含む パブリケーション を作成します。パフォーマンスへのオーバーヘッドを避けるため、パブリケーションには必要なテーブルだけを含めることを強く推奨します。

パブリケーションに含めるすべてのテーブルでは、主キーが定義されているか、または replica identity が FULL に設定されている必要があります。スコープの設定方法については、Postgres のよくある質問 を参照してください。

• 特定のテーブルに対するパブリケーションを作成するには:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • 特定のスキーマ内のすべてのテーブルに対するパブリケーションを作成するには:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

clickpipes パブリケーションには、指定したテーブルから生成される変更イベント一式が含まれ、後でレプリケーションストリームを取り込むために使用されます。

​

ClickPipes の IP を許可リストに登録

Crunchy Bridge でファイアウォールルールを追加し、ClickPipes IPs を許可リストに登録します。

​

次に行うこと

これで、ClickPipe を作成して、Postgres インスタンスから ClickHouse Cloud へのデータ取り込みを開始できます。 ClickPipe の作成時に必要になるため、Postgres インスタンスの設定時に使用した接続情報は必ず控えておいてください。