2024年5月28日

【Google Cloud】Dataplexメタデータ管理について調べてみた


Content
こんにちは。Google Cloud研究開発チームです。

今回は、Dataplexメタデータ管理の各機能について調査しました。
  • タグテンプレート
  • エントリーグループ
  • 用語集

タグテンプレートについて

タグテンプレートとは、BigQueryのテーブルや列に対して付与するメタデータのテンプレートです。
タグテンプレートの構成要素は、Key-Valueのフィールドで構成されています。

タグテンプレートを作成することで、Dataplex上でテーブルを検索しテーブルに付与することができ、
メタデータを充実させることが出来ます。

タグテンプレート作成

Dataplexのコンソール画面から、「タグテンプレートを作成」を押下することで
簡単にタグテンプレートを作成することができます。

タグテンプレートを作成するためのテンプレートも用意されています。
テンプレートをそのまま利用することもできますし、テンプレートからカスタマイズすることも可能です。
テンプレートからタグテンプレートを作成する場合は、赤枠の箇所から選択します。

各項目に設定値を入力し、「作成」を押下すると、タグテンプレートが作成されます。

タグ添付方法

作成したタグテンプレートをBigqueryテーブルに付与する場合は、
Dataplexの検索から付与したいテーブルを検索します。

「+タグを添付」を押下します。

タグテンプレートを選択し、「OK」を押下します。

値を入力し、「保存」を押下します。

タグが付与されていることを確認します。

Dataplexの検索から今回作成したタグテンプレートでフィルターをかけると、
タグが付与されているテーブルだけを表示することができます。

エントリとエントリグループについて

エントリとエントリ グループは、Data Catalog の重要な概念です。

エントリはデータのリソースのことを指し2種類のリソースが存在します。

  • BigQuery データセットやテーブル、Pub/Sub トピックなどの Google Cloud リソース。
  • カスタム データ型を持つカスタム リソース(Google Cloud リソース以外のデータ)
    ※カスタムエントリはData Catalog APIを呼び出す必要があります。

 

エントリグループはエントリをグルーピングしたものです。

BigQueryや Pub/Sub トピックなどの Google Cloud リソースのエントリ グループを自動的に作成します。

独自のエントリ グループを作成して、Cloud Storage ファイルセット エントリと、それらのエントリに関連付けられた IAM ポリシーを含めることができます。

用語集

ビジネス用語集は、組織全体でビジネス関連の用語と定義を保持して一元管理する場所を提供します。これを使用すると、カタログ化されたデータエントリの列に用語をアタッチできます。

ビジネス用語集作成

Dataplexのコンソール画面から、「ビジネス用語集を作成」を押下することで
ビジネス用語集を作成することができます。

ビジネス用語集はカテゴリと用語を追加することができます。

カテゴリ:カテゴリや用語を整理して構造化できます。カテゴリは 3階層までネストできます。

用語:ビジネス用語集で直接定義されるか、用語集のカテゴリ内で定義されます。企業の特定のビジネス部門で使用されるコンセプトを説明します。

 

用語には用語説明の他に管理担当者・関連する用語・類義語が登録できます。

管理担当者(データスチュワード):その用語の管理を担当するユーザーを指定します。これは説明的なプロパティであり、その用語の権限には影響しません。

関連する用語:関連する用語は、2 つの用語が意味的に関連しているが、異なっていることを示すために使用される関係です。たとえば、profit や income です。

類義語:類義語とは、2 つの異なる用語間の意味上の類似性や同等性を示すために使用される関係です。2 つの類似する用語が、異なるチームによって異なる用語集に定義されている場合に使用します。たとえば、earnings や income です。

 

データエントリの列に用語をアタッチ

Dataplexの検索に移動して、アタッチしたいエントリを検索しエントリを押下します。

スキーマタブに移動して、ビジネス用語の「+」ボタンを押下すれば、登録した用語がアタッチできます。

 

2024年5月28日 【Google Cloud】Dataplexメタデータ管理について調べてみた

Category Google Cloud

ご意見・ご相談・料金のお見積もりなど、
お気軽にお問い合わせください。

お問い合わせはこちら