Amazon Kinesis および Amazon Athena を使用して VPC ネットワークのトラフィックを分析および視覚化する
AWS の公式ブログにて、以下の Kinesis と Athena を利用した分析基盤の例が紹介されていました:
Athena のところは本質的ではないと思いますが、、Kinesis を利用することで、リアルタイム集計ときちんと管理されたデータに対するデータ集計の2つを扱うことが可能です。
S3 へは Kinesis Firehose で出力するのですが、 S3 で作成されるファイルのサイズを最大化するためにこのソリューションは 15 分間または 128 MB までバッファリング
とありますので、リアルタイムとは行かずとも、ニアリアルタイムなデータを Athena で扱うことができそうです。
- 上記例は VPC フローログ という AWS 側が収集したデータですが、外部から流れてくるデータに対しての精査などはどこで行えば良いか
- 日次などの集計をどうやって扱うと効率的か
まだ調べ始めたばかりなので各コンポーネントに対する理解が足らず、引き続き調べます。