AWS First Touch Penalty

AWSの各サービスのアーキテクチャに触れれるような示唆が得られたのでメモ。 Snapshotsから復元したRDSやEBSに対してReadの操作を行った際、初回アクセス時のレイテンシの悪化が見られた。 これがファーストタッチペナルティと呼ばれるもので、公式Doc には以下の記述がある。 The first time a... [Read More]

Immigration to Israel

ヨルダンからイスラエルへの入国方法をまとめます。 ※注意 2014年9月の情報です。 ヨルダン〜イスラエル間の出入国は、以下の3箇所があります。 キング・フセイン橋 シェイフ・フセイン橋 ワディ・アラバ 今回は最も旅行者が多い キング・フセイン橋(イスラエル名:アレンビー橋)... [Read More]

Build Hive

hadoop のビルドについては、こちらを参考に! ■各バージョン CentOS 7 x86_64... [Read More]

HiveQL Tips

Hive では、サイズの大きなテーブルをJOINする。 Hiveは、クエリの最後に出てくるテーブルを最大のテーブルと仮定し、 レコード結合をしながら他のテーブルをバッファした後、最後のテーブルをストリーム化しようとする。 ■巨大なテーブルをJOINする場合 年月日でPartitionが区切られているtable_largeをJOINする時、 以下のようなクエリだと、JOINが先に評価され、JOIN後にWHERE節が働きます。 <figure... [Read More]