![](https://res.cloudinary.com/techfeed/image//fetch/w_280,h_210,c_fill/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F05%2Fmidosujitech_w1200h630.png)
【資料公開】Iceberg で Amazon Athena をデータウェアハウスぽく使おう #midosuji_tech
CRANK
データアナリティクス事業本部インテグレーション部機械学習チーム・新納(にいの)です。 2024/6/12にクラスメソッド大阪オフィスで開催された勉強会、Midosuji Techにて「Iceberg で Amazon Athena をデータウェアハウスぽく使おう」というタイトルで登壇をしました。ご参加いただいた皆様、ありがとうございました!ワイワイガヤガヤタイムでもたくさんのご質問をいただき、楽しい時間を過ごすことができました! 本エントリでは登壇資料と内容のまとめをお届けします。 スライド 内容まとめ Icebergの概要と、その特徴の中から特にSchema Evolutionとパーティション管理の便利さをお話ししました。 テーブルフォーマットとは Icebergはテーブルフォーマットのひとつです。テーブルフォーマットについて順を追って説明します。 データレイクはデータファイルをストレージサービスに配置し、コンピュートがデータ取得と処理を実施します。CSVやJSONといったファイルをデータとして読み込むと、コンピュートからのデータアクセスの効率は決してよくありません。 そこで、Avro・Parquet・ORCなどといった処理効率の良いファイル形式が登場します。例えば、データ分析の文脈…