動かざることバグの如し

近づきたいよ 君の理想に

GCPのGoogle Cloud Storage無料枠を使うには注意が必要

gcp

GoogleはAWSと違って半永久的に使える「枠」が用意されている。例えばUSリージョンの一番スペックの低いマシンならずっと起動していても課金されない（1台のみだが）

AWSでいうEC2にあたるGoogle Cloud Storageにも無料枠が用意されている。さすがGoogle先生太っ腹

で、パット見５GBまで無料だが、チュートリアル等で紹介されている以下のようなバケット作成コマンドを叩くと無料枠の対象外になる。

# NG
gsutil mb -p PROJECT_ID gs://BUCKET_NAME

なぜ無料枠の対象外なのか

GCPの公式サイトには以下のような記述がある。

Google Cloud Storageの項目より、

  • 5 GB の Regional Storage（バージニア州北部を除く米国リージョンのみ）
  • 5,000 回のクラス A オペレーション（1 か月あたり）
  • 50,000 回のクラス B オペレーション（1 か月あたり）
  • 1 GB の北米から全リージョン宛ての下りネットワーク（1 か月あたり、中国とオーストラリアを除く）

つまりリージョンが米国リージョンじゃないからか、と理解し、以下のコマンドでバケットを作成する

gsutil mb -p PROJECT_ID -l us-central1 gs://BUCKET_NAME

が、残念ながらこれでも無料枠の対象ではない

ストレージに種類がある。

GCSにはStorage Classなるものがあって、Multi-Regional Storage、Regional Storage、Nearline Storage、Coldline Storageの4種類があり、左から順に１GBあたりの料金が高い。

詳しい説明は公式ドキュメントに譲るとして、要は無料枠はRegional Storageだけだが、クラス無指定だとデフォルトのMulti-Regional Storageになってしまう。よって課金されてしまうのである。。。

無料枠に入るバケット作成コマンド

明示的にストレージクラスを指定してあげればいよいので以下になる

gsutil mb -p PROJECT_ID -l us-central1 -c regional gs://BUCKET_NAME

ちなみに無料枠のリージョンは他にもあって

がある。北米だが北バージニアにあたる「us-east4」は無料枠の対象外なので注意。

NodejsでGoogle Cloud Storageへファイルをアップロードしてみる

nodejs gcp

環境

  • nodejs v8.8.1

ここではAWSでいうS3にあたるGoogle Cloud StorageへNodejsでローカルのファイルをアップロードしたりしてしてみる。

サービスアカウントの作成

まずは権限設定　アクセスに必要なキーを含むJSONファイルをゲットする必要がある。

  • GCPコンソールへログイン
  • GCP のプロジェクトを選択
  • 上の検索バーで「API」と入力　「認証情報 APIとサービス」と項目をクリック
  • 「認証情報を作成」をクリック「サービスアカウントキー」を選択
  • 新しいサービスアカウントを選択、サービスアカウント名は任意、役割でストレージに権限を振る
  • 作成をクリック
  • するとJSONファイルがダウンロードされるので保管

詳しくは以下 Google Cloud Platform のサービスアカウントキーを作成する | MAGELLAN BLOCKS

ライブラリのインストール

公式ライブラリの@google-cloud/storageを使う yarnでインストール

yarn add @google-cloud/storage

基本

async/awaitによる同期処理が可能なので使う。以下のように

const {Storage} = require('@google-cloud/storage');

const storage = new Storage({
  projectId: 'プロジェクトID',
  keyFilename: 'さっき保存したJSONのパス'
});

const bucketName = 'バケット名';

const main = async() => {
  var filename ='index.js';
  await storage
    .bucket(bucketName)
    .upload(filename, {gzip: true})
    .then(res => {
      // 公開状態にする場合
      // res[0].makePublic();
      console.log(res[0].metadata);
      console.log(`${filename} uploaded to ${bucketName}.`);
    })
    .catch(err => {
      console.error('ERROR:', err);
    });
}

main();

これでnode index.jsをするとファイルがGCSにアップロードされる。

一覧表示

ファイル一覧
await storage
  .bucket(bucketName)
  .getFiles()
  .then(results => {
    const files = results[0];
    files.forEach(file => {
      console.log(file.name);
    });
  })
  .catch(err => {
    console.error('ERROR:', err);
  });

プレフィックスで絞ることもできる（suffixはない模様

await storage
  .bucket(bucketName)
  .getFiles({
    prefix: 'us-central1-projects/'
  })
  .then(results => {
    const files = results[0];
    files.forEach(file => {
      console.log(file.name);
    });
  })
  .catch(err => {
    console.error('ERROR:', err);
  });

その他のAPI

以下のサンプルコード集が参考になる。

https://github.com/googleapis/nodejs-storage/blob/master/samples/files.js

GASで３行でS3にアップロードする

gas

まず、ライブラリを登録します。 [リソース]→[ライブラリ]から、MB4837UymyETXyn8cv3fNXZc9ncYTrHL9を登録します。

function uploadS3() {
  var s3 = S3.getInstance('ACCESS_KEY', 'ACCESS_SECRET');
  var data = UrlFetchApp.fetch("http://www.google.com").getBlob();
  var response = s3.putObject('media.turai.work', 'google', data, {logRequests:true});
  Logger.log(response);
}

RubyのRestClientでエラー時に本文を取得したい

ruby

環境

  • ruby 2.5
  • RestClient 2.0.2

やりたいこと

rubyにrest-clientというHTTPクライアントがある。

RestClientで404とか500とかエラーになった場合例外が発生してしまう。

よって以下のように例外をキャッチするようにする。

begin
  res = RestClient.get(url)
rescue => e
  p e
end

ここまではいいのだが、例外が発生した場合、つまりエラーのときにresには何も入らないので取得したデータがわからない問題がある。

対策

以下で取れたは。　ちゃんとコード読もうな（

e.response.body