様々なシステムからデータを収集、加工して、分析基盤に蓄積していくための仕組み (ETL)をAWS環境へ構築する (1)外部のデータソースを取り込むためのワークフロー設計 データの取得タイミングや取得サイクルを検討して、どのようにデータを蓄積するか（※）を設計する ※洗い替えなのか積み上げなのか、差分取込なのか、などなど (2)AWS Glue にワークフロー定義（必要に応じて開発） ・CloudFormation のテンプレート作成（yamlファイル） ・（必要に応じて）PythonやSQLなどでデータ取得・加工 ・Github Actions で S3 にデプロイ ・動作検証 ※定型的な作業は既に標準化されているが、データの収集元は色々なものがあるので、場合によっては都度作り込みが必要となる。 (3)Athena にDWHのデータ参照のための View 作成 分析基盤のデータ（DWH）を BIツール（内製システム）で参照するための View を作成する (近い将来) Databricks への移行

Python 開発経験3年以上 GitHub（Git） GitHub Actionsの利用経験 システム開発などの経験6年以上 （取込フローの検討やデータ加工の詳細設計ができる、ETLなどのデータ処理中にエラーが出た際に、原因を自力で究明し、各部署との対応ができる方） AWS上の関連サービスへの知見（Amazon S3、Athena、Glue、CloudFormation） SQLで相応のデータ抽出ができる、データ調査のSQLを組める

GitHub Actions を使った CI/CD 環境構築経験 Databricks 利用経験

AWS Glue, CloudFormation, Amazon S3, Athena, Databricks

160時間 ~ 160時間

2025/10

フルリモート

未設定

未設定

2025/09/11 13:00:25

データ分析基盤の構築は、企業がデータドリブンな意思決定を行う上で不可欠です。 本案件では、AWS Glueを用いたETLパイプラインの構築を通じて、データ収集から分析までの効率化に貢献できます。 PythonとSQLのスキルを活かし、企業のデータ活用を支援する重要な役割を担うことができます。