BigQuery Data Engineering Agent は、BigQuery 上でのデータパイプライン開発を支援する AI エージェント機能です。
自然言語で要件を入力することで、パイプラインの構成や SQL、処理フローの案を生成・提案してくれます。

従来のように、要件定義から SQL を一つひとつ手で書くのではなく、「どのようなデータを、どのように加工したいか」を文章で伝えるだけで、実装のたたき台を作れる点が大きな特徴です。

なお、このエージェントは パイプラインを自動実行するものではなく、あくまで生成・提案を行う支援ツール である点は重要なポイントです。

最終的な実行やスケジューリング、レビューは人が行います。

【公式ドキュメントより引用】

The Data Engineering Agent cannot execute pipelines.Users need to review and run or schedule pipelines.

※Data Engineering Agent はパイプラインを実行できません。ユーザーがレビューしてパイプラインを実行・スケジュールする必要があります。

BigQuery Data Engineering Agentの主な機能として下記の2つがあげられます。

①自然言語によるパイプライン生成：

最も基本的な機能が、自然言語によるパイプライン生成です。

例えば、「○○ バケットからデータを読み込み、日付形式を標準化し、 ○○ という名前の BigQuery テーブルにロードするパイプラインを作成して」というような形でパイプラインの要件を指示すると、処理フローや SQL を含むパイプライン案が自動的に生成されます。

②既存パイプラインの修正・改善支援：

新規作成だけでなく、既存パイプラインの修正にも活用できます。

例えば、以下のようなケースです。

• カラム追加や型変更への対応

• データ品質チェックの追加

• 処理ロジックの改善提案

既存のパイプラインを前提に、変更点や改善ポイントを踏まえた提案を行ってくれる点が特徴です。

BigQuery Data Engineering Agent は、単なる SQL 自動生成ツールとは異なる特徴として下記があげられます。

• パイプライン全体の構成を理解したうえで提案する

• 既存のパイプラインを前提に、修正・改善案を出せる

このように、パイプライン設計や改善を効率化する支援機能を提供する点が、BigQuery Data Engineering Agent の大きな強みだと思います。

BigQuery Data Engineering Agentは、BigQuery pipelines インターフェースあるいはDataformから利用できます。

利用にあたっては、事前にGemini Data Analytics API を有効化し、実行するユーザーあるいはサービスアカウントに対して『roles/dataform.codeEditor』と『roles/bigquery.jobuser』の権限を付与する必要があります。

本記事では、BigQuery pipelines インターフェースから利用する方法を紹介します。

①まず、BigQueryのコンソール画面で、「パイプライン」を選択します。

②実行資格情報のオプションが表示されるので、適切な資格情報を選択し、「開始」をクリックします。

③「Try out the agent experience for data pipeline」をクリックし、エージェントに対して指示を入力します。

以上の手順で、BigQuery Data Engineering Agent を簡単に利用できます。

公式ドキュメントのサンプルでは、BigQuery のパブリックデータを用いたディメンションテーブルの作成などが紹介されています。

一方で、私自身の業務では、既存テーブルの整形よりも、まだ全く整っていない CSV ファイルを BigQuery に取り込むケースの方が多くあります。

そこで本記事では、公式サンプルとは少し異なる観点として、未整形の CSV データを対象にした検証を行いました。

※なおBigQuery Data Engineering Agent は、Cloud Storage（CSV / Avro / Parquet など）のような外部データソースからデータを読み込むパイプライン生成を公式にサポートしています。現在のドキュメントでは、その他の外部データソース（例：データベース接続や他クラウドのストレージなど）についての明示的な対応は記載されていません。

利用するデータ：
検証のためにAIに作成させた下記のデータを利用しました。
日付や金額の表記が統一されていない場合、どこまで整えてくれるかみたいと思います。

sale_date,amount,product_name,store_id,remark

2024/01/01,1000,おむすび,S001,

2024-1-2,"1,200",おにぎり,S001,税込

2024.01.03,¥900,おむすび,S002,

01-04-2024,800円,おにぎり,S002,割引後

2024/1/5,one thousand,お結び,S003,

2024-01-06,,おにぎり,S003,金額欠損

20240107,1500,おむすび,S001,

2024/01/08,¥1,300,おにぎり,S004,通貨記号あり

2024-01-09T00:00:00Z,1200JPY,お結び,S004,

,1000,おにぎり,S005,日付欠損

①まず作成した上記のデータをcsv形式にして、GCSのバケットにアップロードします。

②公式ドキュメントで推奨されている内容をもとに、BigQuery Data Engineering Agentに画像のような指示を行いました。

③エージェントから提案されたパイプラインを実行すると、下記のデータが表示されました。

④ここからエージェントと対話しながら、最終的に下記の想定していた処理を行ってくれるところまでたどり着きました。

具体的には下記の指示を対話しながら1つ1つ追加しました。

【NULLがあるデータについても表示】

・データにNULLがある場合も表示させてください。

【sale_date カラムの変換】

ソースデータには、以下の様々な形式の日付データが含まれています。
YYYY-MM-DD (例: 2023-12-26)
YYYY/MM/DD (例: 2024/01/02)
YYYY.MM.DD (例: 2024.01.03)
YYYYMMDD (例: 20240107)
DD-MM-YYYY (例: 01-04-2024)
ISO 8601 形式 (YYYY-MM-DDTHH:MI:SSZ) (例: 2024-01-09T00:00:00Z)
これらすべての形式を、YYYY-MM-DD という単一の形式を持つ DATE 型のデータに変換してください。
どの形式にも当てはまらず、変換できない値は NULL としてください。

【amountカラムの変換】

・1200JPYは1200と表示させたい。

⑤パイプラインの作成が完了した後は、画面の右上にあるapplyを押すことで適用されます。

また実行ボタンで、1回のみ実行することや、スケジュール設定から定期的に実行することも可能です。

それぞれの処理のノードを選択すると生成されたSQLXクエリが表示されるので、処理の内容を確認することも可能です。

今回、BigQuery Data Engineering Agent を使って未整形の CSV データを対象に検証を行いましたが、すべてを AI に任せるだけで自動的に理想的なパイプラインが完成する、という性質のものではないと感じました。

データの読み込みや基本的な整形、テーブル構成の提案といった部分については、比較的少ない指示でも実用的なパイプライン案を提示してくれる点は非常に有用です。処理フロー全体を意識した提案が得られる点は、単なる SQL 自動生成ツールとは異なる価値だと感じました。

一方、日付カラムの扱いについては、今回あえて複数のフォーマットを混在させたこともあり、どのようなデータが含まれているのか、最終的にどの形式へ統一したいのかといった前提を明確に指示する必要がありました。
この検証を通じて、データが曖昧であればあるほど、人が前提条件を言語化する重要性が高まることを改めて実感しました。

総じて、BigQuery Data Engineering Agent は、データパイプライン開発における初期設計やたたき台作成を大きく効率化してくれる一方で、細かな仕様調整や品質の担保までを自動化するものではありません。
AI が設計を支援し、人が品質を担保するという役割分担を前提に活用することで、実務において高い効果を発揮するツールだと感じました。

AI を使いこなすには、データや要件をどれだけ正確に言語化できるかが重要になります。BigQuery Data Engineering Agent は、エンジニアの思考を置き換えるものではなく、それを加速させる存在であり、その特性を理解したうえで活用していきたいと感じました。