業務委託
420,000 ~ 570,000円/月額
大阪府 大阪駅
様々なシステムからデータを収集、加工して、分析基盤に蓄積していくための仕組み (ETL)をAWS環境へ構築する (1)外部のデータソースを取り込むためのワークフロー設計 データの取得タイミングや取得サイクルを検討して、どのようにデータを蓄積するか(※)を設計する ※洗い替えなのか積み上げなのか、差分取込なのか、などなど (2)AWS Glue にワークフロー定義(必要に応じて開発) ・CloudFormation のテンプレート作成(yamlファイル) ・(必要に応じて)PythonやSQLなどでデータ取得・加工 ・Github Actions で S3 にデプロイ ・動作検証 ※定型的な作業は既に標準化されているが、データの収集元は色々なものがあるので、場合によっては都度作り込みが必要となる。 (3)Athena にDWHのデータ参照のための View 作成 分析基盤のデータ(DWH)を BIツール(内製システム)で参照するための View を作成する (近い将来) Databricks への移行
Python 開発経験3年以上 GitHub(Git) GitHub Actionsの利用経験 システム開発などの経験6年以上 (取込フローの検討やデータ加工の詳細設計ができる、ETLなどのデータ処理中にエラーが出た際に、原因を自力で究明し、各部署との対応ができる方) AWS上の関連サービスへの知見(Amazon S3、Athena、Glue、CloudFormation) SQLで相応のデータ抽出ができる、データ調査のSQLを組める
GitHub Actions を使った CI/CD 環境構築経験 Databricks 利用経験
WEBサービス
AWS Glue, CloudFormation, Amazon S3, Athena, Databricks
160時間
2025/10
フルリモート
2025/09/11 13:00:25
データ分析基盤の構築は、企業がデータドリブンな意思決定を行う上で不可欠です。 本案件では、AWS Glueを用いたETLパイプラインの構築を通じて、データ収集から分析までの効率化に貢献できます。 PythonとSQLのスキルを活かし、企業のデータ活用を支援する重要な役割を担うことができます。
業務委託
~ 570,000円/月額
フリーランスエンジニア向けIT案件・求人検索サイト【フリーランスジョブ】
©︎ Hajimari Inc. All Rights Reserved