awscliへのjsonの渡し方

2022-2-10 - 読み終える時間: 4 分

ん~、クォーティングが、ががg

とりあえず外部ファイルにして

aws glue update-table --database-name --table-input file://table.json

のように書く。

table.json 例

{
    "Name": "new_table",
    "StorageDescriptor": {
        "Columns": [
            {"Name": "c1", "Type": "int"},
            {"Name": "c2", "Type": "string"},
            {"Name": "c3", "Type": "string"}
        ],
        "Location": "s3://mybucket/db/new_table",
        "InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
        "OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
        "SerdeInfo": {
            "SerializationLibrary": "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe",
            "Parameters": {
                 "separatorChar":","
            }
        }
    },
    "Parameters": {
        "projection.enabled": "true",
        "projection.year.range": "2021,2030",
        "projection.year.type": "integer",
        "projection.month.range": "1,12",
        "projection.month.type": "integer",
        "projection.day.range": "1,31",
        "projection.day.type": "integer"
    },
    "PartitionKeys":[
        {"Name":"year", "Type":"int"},
        {"Name":"month", "Type":"int"},
        {"Name":"day", "Type":"int"}
    ],
    "TableType": "EXTERNAL_TABLE"
}

ようわからんのじゃ🤯


追記

もっと読む

awscliを使ったEC2のInstanceのAMIを取得するスクリプト(bash)

2020-12-31 - 読み終える時間: 5 分

また不格好なスクリプトを書いてしまった・・・

だいたいの説明

  • awscli V2利用(aws-cli/2.1.15 Python/3.7.3 Linux/4.4.0-19041-Microsoft exe/x86_64.ubuntu.20 prompt/off)
  • awscliのプロファイルとアクセスキーは設定済みとする
  • <インスタンスのNameタグの値>-system-v<N>という名前の付いたAMIを作成する ※<N>は数字
  • <インスタンスのNameタグの値>の中に"-v"という文字列があると失敗するはず
  • 世代管理する(個人的には1世代しか残さないので割と適当な造作)
  • ルートブロックデバイスしかSnapshotを作らない(xvdbとxvdcを決め打ちで除外)
  • Snapshotにもタグ付けする
  • AMI作成時に再起動しない
  • tempファイル作るのが嫌いな向きは使わない方が良いです

大変お世話になりました :https://gist.github.com/magnetikonline/6a382a4c4412bbb68e33e137b9a74168

もっと読む

awscliを使ったEC2のEBSのsnapshotを取得するスクリプト(bash)

2020-12-29 - 読み終える時間: 3 分

また不細工なスクリプトが出来てしまった・・・

環境

  • wslのubuntuにAWSCLI V2を入れて使う
  • awscliのプロファイルは登録済み(アクセスキーを使用)

もっと読む