2024年5月21日

【Google Cloud】Dataplexプロジェクト間の権限、リージョン間の構成について


Content
こんにちは。Google Cloud研究開発チームです。

今回は、Dataplexによるデータファブリックな環境検証に続き、Google Cloud Dataplex でプロジェクト間の権限やリージョン間の構成について検証しました。
プロジェクト間をつなぐ際に必要な権限やリージョン間をつなぐ際の構成について説明します。

別プロジェクトに対する権限

DataplexでProjectが異なっている場合における作成方法や権限付与方法の検証を行います。

【アセット作成時の権限を検証】

準備

Project1(Dataplex格納先Project)のDataplexサービスアカウントを確認します。

Project1のDataplexサービスアカウントに対してProject2(参照先Project)のBigQuery管理者権限、ストレージ管理者権限およびDataplexサービスアカウント権限が付与されていないことを確認します。

※画面の操作はオーナー権限にて行っています。

Project1データをアセットへ追加

Project1のデータが正常に作成できました。

 

Project2データをアセットへ追加

Project1と同様にProject2のデータを追加しようとしたところ
Project1のDataplexサービスアカウントに対してProject2のDataplexサービスアカウント権限付与を求めるエラーが発生しました。

 

アクセス先はBigQueryであったり、Cloud StorageであったりするためBigQuery管理者権限で代替できるか確認を行います。
Project2のBigQuery管理者権限をProject1のDataplexサービスアカウントに付与します。

再度アセット追加を行ったところ権限エラーが発生しなくなりました。
エラーメッセージはDataplexサービスアカウント権限との記載だったため、内部でBigQuery管理者権限を持っているようです。

 

同様にCloud Storageも確認します。
Project2のストレージ管理者権限をProject1のDataplexサービスアカウントに付与します。

こちらも同様に権限エラーが発生しなくなりました。

 

BigQuery管理者権限、ストレージ管理者権限を個別に付与する運用に問題ないか、公式ドキュメントを確認しました。

「このロールは、バケットに対して前提となる管理者レベルのロールをDataplexサービスに提供し、…」
「BigQueryデータセットをレイクに接続するには、データセットに対するBigQuery管理者ロールを Dataplexサービスアカウントに付与する必要があります。」
上記に記載の通りそれぞれの管理者ロールで行える記載がありました。

 

【Dataplex使用時の権限を検証】

準備

データアクセス用サービスアカウント作成
Dataplexアセット(project1-gcs)にDataplex Data Readerの権限を付与します。

project1-gcs内のデータにアクセスできました。

同様にDataplexアセット(project2-gcs)にもDataplex Data Readerの権限を付与します。

Project1の環境からproject2-gcs(Project2)のデータにアクセスできました。

また、Viewerの権限を付与することでassetsの情報等の閲覧が可能になります。

別リージョン構成

続いて、Dataplexでリージョンをまたがったデータを1つのゾーンに構成できるかどうかを検証しました。

ゾーンとデータがそれぞれ異なる単一リージョン

ゾーンのロケーション:asia-northeast3

BigQueryデータセットのロケーション:asia-northeast1

ゾーンに対して、アセットを追加しようとするとエラーになりました。
ゾーンのロケーションに合わせるようメッセージが表示されます。

ゾーンがマルチリージョン、データが同地域の単一リージョン

ゾーンのロケーション:マルチリージョン(US)

BigQueryデータセットのロケーション:us-east1

ゾーンに対して、アセットを追加しようとするとエラーになりました。
こちらも、ゾーンのロケーション(US)にするようメッセージが表示されます。

データがマルチリージョン、ゾーンが同地域の単一リージョン

ゾーンのロケーション:us-central1

 

BigQueryデータセットのロケーション:マルチリージョン(US)

ゾーンにアセットを追加できました。

まとめると、リージョン間の構成は下記のように構成できます。

ゾーンとデータが同じロケーション:構成可能

ゾーンとデータが異なる単一リージョン:構成不可能

ゾーンのロケーションがマルチリージョンでデータのロケーションがその単一リージョン:構成不可能

ゾーンのロケーションが単一リージョンでデータのロケーションがそのマルチリージョン:構成可能

2024年5月21日 【Google Cloud】Dataplexプロジェクト間の権限、リージョン間の構成について

Category Google Cloud

ご意見・ご相談・料金のお見積もりなど、
お気軽にお問い合わせください。

お問い合わせはこちら