・ファイルシステムからCloud Storageにフォルダをアップロードする

・フォルダ構造を保持したままアップロードする

・使用環境：Java1.8.0、Spring

まずは、Cloud Storageの準備です。
Cloud Storageは「Bucket（バケット）」と呼ばれる箱にデータを出し入れできるサービスです。
では、早速Bucketを作っていきましょう。

1.Cloud Storage > バケットの画面から「+作成」ボタンを押下

2.必要事項を入力し「作成」ボタンを押下
※本記事のメインではないため詳細は割愛します。

Cloud Storageへのアクセス権を付与します。

本来は、バケットごとへの権限付与や制限をする必要がありますが、

今回は細かいことは一旦忘れてサービスアカウントのアクセスキーを使用します。

1.サービスアカウントの鍵を作成

2.JSONキーを選択し、作成

3.JSONキーをローカルへ保存

※このJSONファイルを使用してCloud Storageへのアクセス認証を行います

では、準備が長かったですが本題のフォルダアップロードに入ります。
以下のような構造のフォルダを例にアップロードします。

hoge1

└-- hoge1.txt

└-- hoge2

└-- hoge2.txt

ざっくりですが、以下の流れで構造を保ったままフォルダをアップロードすることができました。

1. ブラウザからMultipartFile形式でフォルダを受け取る
2. サービスアカウントファイルを使用して認証する
3. MultipartFileをFor文でファイル１つずつアップロード処理を実行

（ファイル１つずつアップロードするならFor文だろ、、なんで苦戦したんだ、、というつっこみは内に留めておいてください。。）

// 変数を宣言

String serviceAccountPath = [JSONファイルのパス];

String bucketName = [アップロード先のバケット名];



// 1.ブラウザからMultipartFile形式でフォルダを受け取る

public static void uploadObject(String serviceAccountPath, List<MultipartFile> multiFiles, String bucketName){



// 2.サービスアカウントファイルを使用して認証する

Storage storage = StorageOptions.newBuilder().setCredentials(

ServiceAccountCredentials.fromStream(

new FileInputStream(serviceAccountPath)))

.build().getService();



// 3.MultipartFileをFor文でファイル１つずつアップロード処理を実行

for(MultipartFile multiFile : multiFiles){



// 4.アップロード処理を実行

// マルチパートファイルからinputstreamを取得する

InputStream inputStream = multiFile.getInputStream();



// アップロードするファイル名を取得する

String fileName = multiFile.getOriginalFilename();



// バケット名とファイル名からBlobInfoを作成する

BlobInfo blobInfo = BlobInfo.newBuilder(bucketName, fileName).build();



// WriteChannelをストレージとBlobInfoから作成する

WriteChannel uploadWriter = storage.writer(blobInfo);



// アップするデータを細切れにして書き込む

byte[] buffer = new byte[10 * 1024 * 1024];

int limit;



while ((limit = inputStream.read(buffer)) >= 0){

ByteBuffer byteBuffer = ByteBuffer.wrap(buffer, 0, limit);

// BlobInfoへinputstreamのコンテンツを書き込む

uploadWriter.write(byteBuffer);

}

}

}

※このままだとメモリが開かれっぱなしなので適宜close()を入れましょう

では動かしていきましょう。

作成したバケットにアップロードされていますね！

フォルダ構成も保持されているのがわかります！

上記のように、コンソール上で確認するとフォルダ構造が保持されて見えますが、
Cloud Storageでは、実はフォルダという概念は存在しません。

hoge1

└-- hoge1.txt

└-- hoge2

└-- hoge2.txt

バケットの中に、2つのオブジェクトが存在するだけです。
hoge1というフォルダは存在せず、文字列「hoge1」がオブジェクト名の一部になるだけです。

hoge1/hoge1.txt

hoge1/hoge2/hoge2.txt

なので、MultipartFileをfor文で回すだけで、フォルダ構造を維持してアップロードできるんですね！

ここで注意なのが、オブジェクトとして判定されないため下図のhoge3はアップされないということです。

hoge1

└-- hoge1.txt

└-- hoge2

└-- hoge2.txt

└-- hoge3

今回はフォルダ構造を保持したままフォルダをアップロードする方法について紹介しました。
いかがでしたでしょうか？
参考になった！わかりにくい！などご感想いただけると嬉しいです！

当社、システムサポートは、Google Cloudの導入・移行・運営支援を行っています。
お手持ちのデータのGoogle Cloud BigQuery移行、データの可視化のご相談は、以下よりお願いいたします。