「*」(ワイルドカード)でテーブル名を指定する

　SELECT文に「*」を入れることで、その他の部分にマッチしたテーブル名を持つ複数のテーブルを横断して検索することができます。

　例えば次のテーブル名でテーブルを作成します。

• sample_20181218
• sample_20181219
• sample_20181220

このテーブルに、次のデータを入れておきます。

　次のSELECT文を実行するとすべて対象に出来ます。

SELECT * FROM `xxxx.sample.sample_201812*`

結果。

　3つのテーブルに登録されているデータを抽出することができました。

対象となるテーブルをさらに_TABLE_SUFFIXで絞り込む

　横断検索できるのは便利ですが、対象テーブルが多くなりすぎるとデータ量が増えたり時間が掛かったりしてそれはそれで困ります。

　そこで_TABLE_SUFFIX疑似列を用いると「*」でフィルタされたところからさらに絞り込むことが出来ます。

　_TABLE_SUFFIX疑似列には、「*」でマッチした文字列が入ってきますので、それをWHERE句で判定します。

SELECT * FROM `xxxx.sample.sample_201812*` 
WHERE _TABLE_SUFFIX = '18' OR _TABLE_SUFFIX = '20'

とすれば、「sample_20181218」と「sample_20181220」が対象になります。

　さらにここで注目してほしいのは、右上の処理バイト数です。

　全体を指定したSELECT文は48 B、「18」と「20」を指定したSELECT文は32 Bとなっています。

　この数値はBigQueryで検索対象となるデータサイズで料金に直結するところです。

　つまり_TABLESUFFIXであらかじめフィルタリングできれば、料金も節約することができます。

参考：ワイルドカード テーブル

テーブルのリネームはできない

　まず始めに…テーブルのリネーム機能は提供されていないようです。(2018年11月現在)

Manage tables  |  BigQuery  |  Google Cloud

Shows how to manage tables in BigQuery--how to rename, copy, and delete them; update their properties; and restore deleted tables. Includes examples using the G...

cloud.google.com

テーブルの名前の変更
現時点では、既存のテーブルの名前を変更することはできません。テーブル名を変更する場合は、テーブルをコピーする手順に従ってください。コピー オペレーションでコピー先のテーブルを指定する際に新しいテーブル名を使用します。

　つまり、「コピーして元のテーブルを削除」することになります。

テーブルのコピーはすぐに完了する

　とはいえ、BigQueryテーブルのコピーは驚くほど早く終わります。

　数十GBとかあっても数秒で終わります…

　おそらく内部的には、ハッシュにタグ付けしてるような感じなのかなと思ってます。

　分割テーブルだとパーティションごとに処理していたりするのか、容量にかかわらず少し時間が掛かるようですが、それでも1分程度で終わりました。

　バックアップからレストアするときなど、元になるテーブルが存在している場合は先に削除する必要があるので少し勇気が要りますが、作業時間的には「コピーして削除」で全く問題ない感じです。

　Web UIからファイル指定で追加できるようになっていたりINSERT文が使えるようになっていたりするのが、ちょっと試すときとかにすごい便利です。

テーブル作成時に登録する

　テーブルを作るときに登録する方法です。

「テーブルの作成」で、「テーブルの作成元」プルダウンメニューを変更することで初期データが登録できます。

 CSVファイルをアップロードして登録するときはこんな感じで。

　ただ、ここでCSVファイルの方にヘッダが設定されていると、それがデータとして読み込まれてしまいエラーになってしまいます。

id,name
1,りんご
2,みかん
3,いちご

　中身がこういうファイルとかですね。

　その場合はヘッダ行を削除したファイルを作るか、「詳細オプション > スキップするヘッダー行」の数値を調整します。

あと、CSVファイルはUTF-8である必要があります…SJISテキストだとこうです。

テーブルに追加する

　「テーブルを作成」で、すでにあるテーブル名を指定し、「詳細オプション > 書き込み設定」を「テーブルに追加する」にすることで、既存のテーブルにデータファイルを追加することができます。

　その際には「スキーマ」の「自動検出」にチェックを入れておくと、既存のテーブルのものを使ってくるようで楽です。

bq loadで登録する

　bqコマンドを使用する方法です。テーブル名とデータファイル、スキーマを定義したJSONが必要です。

　ローカルのファイルを指定する場合はそのまま。

$ bq load --skip_leading_rows=1 sample.fruits fruits.csv fruits_schema.json
Upload complete.
Waiting on bqjob_r480de7ee_000001675ff3da58_1 ... (0s) Current status: DONE

　Google Cloud Storageに置いてあるファイルなどもいけます。

$ bq load --skip_leading_rows=1 sample.fruits gs://(バケット名)/fruits.csv fruits_schema.json
Waiting on bqjob_r3b7e2b3d_000001675ff98507_1 ... (1s) Current status: DONE

ストレージ上ではgzip圧縮されたファイルも指定できるため、テキストデータをそのまま使うより効率よくアップロードできます。

INSERT文を使う

　BigQueryからそのままINSERT文が使えます。

INSERT INTO (データセット).fruits (id, name) VALUES (100, 'バナナ')

こちらはStandard SQLから有効になっているようです。

INSERT文が使えるので、SELECTからINSERTも使えるようになっています。

INSERT INTO (データセット).fruits (id, name) SELECT id, name FROM (データセット).fruits2

その他

　登録できるファイル形式やオプションなどは公式ドキュメントが詳しいです。

参考：

データの読み込みの概要  |  BigQuery  |  Google Cloud

cloud.google.com

bq コマンドライン ツールの使用  |  BigQuery  |  Google Cloud

bq コマンドライン ツールと、そのデフォルト値とフラグの設定方法について説明します。対話型シェル、スクリプト、サービス アカウントで bq コマンドライン ツールを使用してクエリを実行する方法を示します。

cloud.google.com