BETA

Amazon Athenaでログ分析(入門編 ALB)

投稿日:2018-11-07
最終更新:2018-11-07

Amazon Athenaとは

Amazon Athena はインタラクティブなクエリサービスで、Amazon S3 内のデータを標準 SQL を使用して簡単に分析できるようになります
Athenaは分析エンジンがフルマネージドであり、ログ収集の仕組みやサーバ管理の必要がなく分析クエリを投げられます。

料金について

クエリ課金です。一歩間違えると爆死するので注意は必要です

ストレージ

S3を利用するのでS3の保存料金のみ

クエリ

キャンされたデータ 1 TB あたり 5 USD

データ読み込み

S3通常のデータ転送料金

詳細はhttps://aws.amazon.com/jp/athena/pricing/

使ってみた

ALBのログ分析でつかってみました

準備

  1. アクセスログを記録するには
    https://docs.aws.amazon.com/ja_jp/elasticloadbalancing/latest/application/load-balancer-access-logs.html#enable-access-logging を参照

  2. Athena上でテーブルを作る
    公式ドキュメントにそのまま利用できるクエリが載っているので、AWSマネージメントコンソールからAthenaのQueryエディタを開きこれを実行します。
    http://docs.aws.amazon.com/athena/latest/ug/application-load-balancer-logs.html

データを取得する

http statusCode等を調べる

SELECT
from_iso8601_timestamp(time)AT TIME ZONE 'Asia/Tokyo' ,
elb_status_code, target_ip, target_port, request_url,user_agent, 
client_ip
FROM alb_logs
where date(from_iso8601_timestamp(time)) >= date('2018-11-01')
order by time desc;

ポイントとしてはtimeのフォーマットです
表示と条件でフォーマットをわけてます

実際に動かしログを確認いただければと思います

技術ブログをはじめよう Qrunch(クランチ)は、プログラマの技術アプトプットに特化したブログサービスです
駆け出しエンジニアからエキスパートまで全ての方々のアウトプットを歓迎しております!
or 外部アカウントで 登録 / ログイン する
クランチについてもっと詳しく

この記事が掲載されているブログ

@YbuIZvJ4SOtaFvBd'の技術ブログ

よく一緒に読まれる記事

0件のコメント

ブログ開設 or ログイン してコメントを送ってみよう