【Python/Snowflake】データ基盤クラウドリプレイス案件

既存のデータ活用統合基盤（オンプレ）のクラウドへのリプレイス案件。 データ活用統合基盤は大きく下記の機能で構成されています。 ①センサーデータをCSVファイルで受け取り、SQLServerへ蓄積する機能。 ②SQL Serverへ蓄積したデータをダウンロードする機能。（スクラッチで開発したWebアプリ） ③マスタデータの蓄積機能（DataSpiderで処理を作成） その他、全体のジョブ管理はJP1で実施。 【現行課題】 ・データ処理量に対して柔軟に対応できない（オンプレ基盤） ・種類によっては40万カラムものセンサーデータが送信される。 現状では、約1,000カラムごとに縦に切りテーブルを分割して、DWHにロードしている。 上に関連して新しいセンサーデータ追加時に莫大なメンテコストがかかる。 センサーデータごとに物理的にテーブル分割されているため、横断の検索はできない。 【リプレイス作業】 オンプレ→クラウドリフト（※上記課題を解消した状態となること）

Snowflake＋Python

Sler・業務系

OS：Windows Server DWH：SQL Server ETL：DataSpider

2024/11

フルリモート

1回

オンライン

2025/10/28 16:55:32