2024年5月28日 【Google Cloud】Dataplexメタデータ管理について調べてみた Dataplex Google Cloud 検索する Popular tags 生成AI(Generative AI) Looker Studio BigQuery AlloyDB Google Workspace 事例紹介 Cloud SQL Category Google Cloud Author Google Cloud研究開発チーム SHARE 目次 タグテンプレートについて エントリとエントリグループについて 用語集 Content こんにちは。Google Cloud研究開発チームです。 今回は、Dataplexメタデータ管理の各機能について調査しました。 タグテンプレート エントリーグループ 用語集 タグテンプレートについて タグテンプレートとは、BigQueryのテーブルや列に対して付与するメタデータのテンプレートです。 タグテンプレートの構成要素は、Key-Valueのフィールドで構成されています。 タグテンプレートを作成することで、Dataplex上でテーブルを検索しテーブルに付与することができ、 メタデータを充実させることが出来ます。 タグテンプレート作成 Dataplexのコンソール画面から、「タグテンプレートを作成」を押下することで 簡単にタグテンプレートを作成することができます。 タグテンプレートを作成するためのテンプレートも用意されています。 テンプレートをそのまま利用することもできますし、テンプレートからカスタマイズすることも可能です。 テンプレートからタグテンプレートを作成する場合は、赤枠の箇所から選択します。 各項目に設定値を入力し、「作成」を押下すると、タグテンプレートが作成されます。 タグ添付方法 作成したタグテンプレートをBigqueryテーブルに付与する場合は、 Dataplexの検索から付与したいテーブルを検索します。 「+タグを添付」を押下します。 タグテンプレートを選択し、「OK」を押下します。 値を入力し、「保存」を押下します。 タグが付与されていることを確認します。 Dataplexの検索から今回作成したタグテンプレートでフィルターをかけると、 タグが付与されているテーブルだけを表示することができます。 エントリとエントリグループについて エントリとエントリ グループは、Data Catalog の重要な概念です。 エントリはデータのリソースのことを指し2種類のリソースが存在します。 BigQuery データセットやテーブル、Pub/Sub トピックなどの Google Cloud リソース。 カスタム データ型を持つカスタム リソース(Google Cloud リソース以外のデータ) ※カスタムエントリはData Catalog APIを呼び出す必要があります。 エントリグループはエントリをグルーピングしたものです。 BigQueryや Pub/Sub トピックなどの Google Cloud リソースのエントリ グループを自動的に作成します。 独自のエントリ グループを作成して、Cloud Storage ファイルセット エントリと、それらのエントリに関連付けられた IAM ポリシーを含めることができます。 用語集 ビジネス用語集は、組織全体でビジネス関連の用語と定義を保持して一元管理する場所を提供します。これを使用すると、カタログ化されたデータエントリの列に用語をアタッチできます。 ビジネス用語集作成 Dataplexのコンソール画面から、「ビジネス用語集を作成」を押下することで ビジネス用語集を作成することができます。 ビジネス用語集はカテゴリと用語を追加することができます。 カテゴリ:カテゴリや用語を整理して構造化できます。カテゴリは 3階層までネストできます。 用語:ビジネス用語集で直接定義されるか、用語集のカテゴリ内で定義されます。企業の特定のビジネス部門で使用されるコンセプトを説明します。 用語には用語説明の他に管理担当者・関連する用語・類義語が登録できます。 管理担当者(データスチュワード):その用語の管理を担当するユーザーを指定します。これは説明的なプロパティであり、その用語の権限には影響しません。 関連する用語:関連する用語は、2 つの用語が意味的に関連しているが、異なっていることを示すために使用される関係です。たとえば、profit や income です。 類義語:類義語とは、2 つの異なる用語間の意味上の類似性や同等性を示すために使用される関係です。2 つの類似する用語が、異なるチームによって異なる用語集に定義されている場合に使用します。たとえば、earnings や income です。 データエントリの列に用語をアタッチ Dataplexの検索に移動して、アタッチしたいエントリを検索しエントリを押下します。 スキーマタブに移動して、ビジネス用語の「+」ボタンを押下すれば、登録した用語がアタッチできます。 関連コンテンツ 【Google Cloud】Dataplexによるデータファブリックな環境検証(データ編成・検出・品質編) by Google Cloud研究開発チームon 2024年5月9日 頂きましたご意見につきましては、今後のより良い商品開発・サービス改善に活かしていきたいと考えております。 Author Google Cloud研究開発チーム 株式会社システムサポート(STS)のGoogle Cloud研究開発チームです。 実際に技術検証した事例を中心に記事発信していきます。 Dataplex Google Cloud 2024年5月28日 【Google Cloud】Dataplexメタデータ管理について調べてみた Category Google Cloud 前の記事を読む 【4コマ漫画】SEひつじは定時退社の夢を見る ~テレワーク~ 次の記事を読む Google Workspace 導入支援サービスのお知らせ Recommendation オススメ記事 2023年9月5日 Google Cloud 【Google Cloud】Looker Studio × Looker Studio Pro × Looker を徹底比較!機能・選び方を解説 2023年8月24日 Google Cloud 【Google Cloud】Migrate for Anthos and GKEでVMを移行してみた(1:概要編) 2022年10月10日 Google Cloud 【Google Cloud】AlloyDB と Cloud SQL を徹底比較してみた!!(第1回:AlloyDB の概要、性能検証編) BigQuery ML ワークショップ開催のお知らせ 生成AI導入支援パッケージ Discovery AI導入支援パッケージ Google Cloud ホワイトペーパー 新着記事 2024年9月2日 4koma 【4コマ漫画】SEひつじは定時退社の夢を見る ~ダウングレード~ 2024年8月29日 Google Cloud 【Google Cloud】Cloud NGFW Standard を試してみた 2024年8月29日 Google Cloud 【Google Cloud】Cloud Storage FUSE Read Cache を試してみた HOME Google Cloud 【Google Cloud】Dataplexメタデータ管理について調べてみた ご意見・ご相談・料金のお見積もりなど、お気軽にお問い合わせください。 お問い合わせはこちら HOME Categories お知らせ イベント・セミナー Google Cloud Google Workspace モバイル インフラ 技術開発 ブログ 4koma Tags 生成AI(Generative AI) Looker Studio BigQuery AlloyDB Google Workspace 事例紹介 Cloud SQL STSエンジニアリングマガジン 「サイタル」