Sparkの案件

・databricksの構築経験 ・業界経験3年以上 ・インフラの知見、経験 ・一人称で対応出来る方 ・勤怠に問題無い方、自発的に動ける方

・Databricksまたは類似のクラウドデータ基盤の運用・保守経験 ・Sparkログを用いた原因調査・切り分けの経験 ・利用部門・関連部署との調整を伴う運用業務経験

Databricksを使用した経験（年数不問） ※自己学習レベルの方やSnowflake経験者も相談可能です。

・基本設計～開発、試験工程までの経験を一人称で対応可能 ・自主的に動ける方 ・Spark、Linux、RDBでの開発経験（特にシェル作り込みなどLinuxに長けていること）

セキュリティと利便性を考慮したデータプラットフォームの設計・開発・運用経験 品質や再利用性を考慮したデータパイプラインの設計・開発・運用経験 Databricks上でのデータプラットフォーム開発・運用の経験 Terraformの開発・運用の経験 AWS上での開発経験 Infrastructure as Code (IaC)の開発・運用経験

Databricks活用経験 要件定義など上流工程の対応経験

・Databricksを用いたマイグレーションのご経験 ・テックリードのご経験

・Databricksを用いたマイグレーションのご経験 ・テックリードのご経験

・Databricksを用いたマイグレーションのご経験 ・テックリードのご経験

・LightGBMの使用経験 ・機械学習のアルゴリズムの知見（売上や需要予測） ・基本的なコミュニケーション能力

・データ加工処理に関連するマイグレーションのご経験 ※移行方式設計のご経験、クラウドシフトのご経験等、実際の移行作業ではなく移行計画/移行方式設計のできる方 ・データ加工処理基盤構築のための要求整理/要件定義のご経験 ・Apache Sparkを用いたデータ加工処理のご経験 ・Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）の内のいずれかのご経験

・ネットワーク運用保守（3年以上） ・ログ調査、不具合調査の経験 ・運用設計などマニュアル作成経験

・大量のトランザクションデータを使って顧客の行動予測した経験 ・機械学習モデルの学習、評価、デプロイ経験 ・大量データのパイプラインをDatabricks上で、設計・実装経験

Pythonでの開発経験 ETL/ELT 開発経験 ネットワーク運用の経験または知見

AWS環境でのインフラ構築・運用経験（S3/IAM/VPC等）、GCPでの構築経験（特にBigQueryとIAM/ネットワーク設定）、BigQueryを用いた分析SQL実務経験（パーティショニング/クラスタリング）、AWS Glue（PySpark）でのETL開発・パフォーマンスチューニング、TerraformによるIaC実践（マルチクラウド or 複数環境）

AWS 基盤(EC2/ALB/Aurora/PostgreSQL/S3/Glue/CloudWatch)の構築 Aurora PostgreSQL のスキーマ/テーブル設計の理解 Glue(PySpark/Python)による ETL(抽出/変換/CSV/日次/失敗検知/リトライ/ログ連携) Okta 連携 SSO/ユーザ ID 自動連携、MasterInfinity の権限/運用

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

・AWSインフラの構築経験 ・Oracleの経験

BigQueryを用いた開発経験 DWH／データ基盤の開発経験 Airflow の利用経験 データ取り込みパイプラインの設計・実装経験

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

Databricks / Spark の開発経験（3年以上目安） Sparkクラスタのチューニング経験 大規模データ（数億件規模）の処理経験 Azure環境（Data Factory、SQL等）の構築経験 SQLクエリの最適化スキル

Databricksでのコーディングスキル（PySpark, Scala） コードのチューニング経験 Sparkクラスタの構造や処理方式ならびに各種最適化手法に関する知識・経験 大規模データを扱った経験 HadoopクラスタやSparkクラスタで数億行程度のデータを扱った経験

・ AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・ GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・ BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・ AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・ Terraform による IaC 実践（マルチクラウド or 複数環境）

・ AWS 環境でのインフラ構築・運用経験 ・ GCP 環境でのインフラ構築経験 ・ETL開発及びパフォーマンスチューニング経験

AWS（EventBridge、StepFunctions、Lambda、Glue）を用いた開発経験 AWS 基盤全般の知識（S3、EC2、ELB、SG 等） Python 開発経験 PySpark を用いたデータパイプライン構築経験 複数テーブル JOIN を伴う SQL 実装経験 Stored Procedure の開発またはレビュー経験 Git を用いたチーム開発経験 情報系システム（または何らかの業務システム）の運用経験 ジョブフロー設計書のレビュー経験

・大規模データ基盤構築プロジェクトにおける構築実務経験（データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などのご経験 ・自主的・積極的な業務推進

・大規模データ基盤構築プロジェクトにおける構築実務経験（データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などのご経験 ・自主的・積極的な業務推進

・ AWS 環境でのインフラ構築・運用経験 ・ GCP 環境でのインフラ構築経験 ・ETL開発及びパフォーマンスチューニング経験