データの形式

• CSV … 値をカンマで区切って並べた、表の形の文字データ
• JSON … 項目の名前と値の組を、入れ子にできる書き方。半構造化データの代表
• 文字コード … 文字を数に置きかえる決まり。UTF-8 などがあり、合わないと文字化けする

データの集め方

• API … ほかのシステムから、決まった形でデータを受け取る窓口
• スクレイピング … Webページから機械でデータを取り出す方法。利用規約を守り、相手のサーバーに負荷をかけない
• IoT … センサーなどの機器から、データを自動で集める。100台が1秒に1回送ると、1日で864万件

データの持ち方

表の列の名前と型を決めることをテーブル定義と呼びます。1行を一意に決める列を主キーと呼びます。

データのため方

• データレイク … 元の形のまま、何でもためておく場所
• データウェアハウス（DWH） … 分析しやすいように整えてためる場所
• データマート … 目的や部署ごとに切り出した小さな集まり

大量のデータは、複数の計算機で分けて処理する分散処理や、必要な分だけ借りて使うクラウドで扱います。

試験での問われ方

データレイク・DWH・データマートは、元の形か、整えた形か、目的ごとに切り出した形か、という1つの物差しで並べて覚えます。

• CSV・JSON と、構造化・半構造化・非構造化データ、文字コード
• API・スクレイピング・IoT によるデータの集め方と注意
• テーブル定義と主キー
• データレイク・DWH・データマートと、分散処理・クラウド