取り込みは、頻度で分ける

データを集める方法は、どれくらいの頻度で、どれくらいの量が来るかで決まります。

流れてくるデータ

• Amazon Kinesis Data Streams … 絶え間なく流れてくるデータを受け取り、複数の処理で、ほぼその場で読む
• Amazon Data Firehose … 流れてくるデータを、S3などの置き場へ、まとめて届ける。自分で受け手の処理を書かなくてよい

まとめて運ぶデータ

• AWS DataSync … 社内のファイルサーバなどから、S3やEFSへ、ネットワーク越しにデータを移す
• AWS Storage Gateway … 社内からは今までのファイル共有やディスクに見えて、裏でAWSのストレージに置く
• AWS Transfer Family … SFTPなどの昔ながらの方法で、S3にファイルを受け取る

変換と分析

• AWS Glue … データの形を変える（たとえばCSVを、分析に向いたParquetに）。データの目録（カタログ）も作る
• Amazon Athena … S3に置いたままのデータに、SQLで問い合わせる。サーバは要らない
• AWS Lake Formation … S3のデータの置き場（データレイク）の権限をまとめて管理する

選び方

「リアルタイムに」「数秒以内に」ならKinesis、「S3に届けるだけ」ならFirehose、「社内から一度に移す」ならDataSync、「S3のデータをSQLで」ならAthenaです。

• 取り込みの方法を、頻度と量で選ぶ
• Kinesis Data StreamsとData Firehoseの違い
• DataSync・Storage Gateway・Transfer Family
• Glueでの変換と、Athenaでの分析