Sparkの案件

・Databricks / Spark の開発経験（3年以上目安） ・Sparkクラスタのチューニング経験 ・大規模データ（数億件規模）の処理経験

・Databricksまたは類似のクラウドデータ基盤の運用・保守経験 ・Sparkログを用いた原因調査・切り分けの経験 ・利用部門・関連部署との調整を伴う運用業務経験

AWS 基盤(EC2/ALB/Aurora/PostgreSQL/S3/Glue/CloudWatch)の構築 Aurora PostgreSQL のスキーマ/テーブル設計の理解 Glue(PySpark/Python)による ETL(抽出/変換/CSV/日次/失敗検知/リトライ/ログ連携) Okta 連携 SSO/ユーザ ID 自動連携、MasterInfinity の権限/運用

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

・AWSインフラの構築経験 ・Oracleの経験

BigQueryを用いた開発経験 DWH／データ基盤の開発経験 Airflow の利用経験 データ取り込みパイプラインの設計・実装経験

・Pythonの業務経験(2年以上) ・SQLの業務経験(2年以上) ・システム開発に関する設計・開発・テストの経験(3年以上)

Databricks / Spark の開発経験（3年以上目安） Sparkクラスタのチューニング経験 大規模データ（数億件規模）の処理経験 Azure環境（Data Factory、SQL等）の構築経験 SQLクエリの最適化スキル

Databricksでのコーディングスキル（PySpark, Scala） コードのチューニング経験 Sparkクラスタの構造や処理方式ならびに各種最適化手法に関する知識・経験 大規模データを扱った経験 HadoopクラスタやSparkクラスタで数億行程度のデータを扱った経験

・Pysparkのコーディングに精通していること。※1人称で自走できること ・Pysparkでパフォーマンスチューニングの経験があること

Snowflakeを用いたDWH開発・運用経験 SQLおよびPython（PySpark）によるデータ処理実装経験 Azure環境でのデータ基盤開発経験

Pythonによる詳細設計以降の開発経験（3年以上） AWS環境での開発／利用経験 関係者と円滑に調整できるコミュニケーション力 自走して課題解決に取り組めること

Pythonを使用したデータ連携処理の開発経験(2年以上) SQLの読み書きが出来る方 1人称でタスクを遂行できること

AWS環境でのインフラ構築・運用経験（S3/IAM/VPC等）、GCPでの構築経験（特にBigQueryとIAM/ネットワーク設定）、BigQueryを用いた分析SQL実務経験（パーティショニング/クラスタリング）、AWS Glue（PySpark）でのETL開発・パフォーマンスチューニング、TerraformによるIaC実践（マルチクラウド or 複数環境）。

RedshiftやGlue、QuickSightなどのインフラ準備（IaCコードの作成するイメージ） DWH内のスキーマやテーブル準備 Glueジョブ開発（PySpark。Pythonができれば、検索しながら対応可能） QuickSightでのダッシュボード開発（プログラミングはせず、GUIで作成）

・SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験がある方 ・データパイプライン構築・運用経験がある方 ・テスティングフレームワークを用いたユニットテストの経験がある方（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験がある方 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力がある方

・ AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・ GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・ BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・ AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・ Terraform による IaC 実践（マルチクラウド or 複数環境）

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）

・Javaでの開発経験 5年以上 ・AWS上での開発経験がある方 ・設計業務から一人称で対応可能な方

・SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験がある方 ・データパイプライン構築・運用経験がある方 ・テスティングフレームワークを用いたユニットテストの経験がある方（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験がある方 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力がある方

SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験 データパイプライン構築・運用経験 Git等のバージョン管理システムの使用経験 テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） 要件定義、基本設計、詳細設計、テスト設計の経験 プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）

・クラウド上データエンジニアリング経験 ・ETL パイプライン構築・運用 ・S3/Lambda などAWSの基本知識 ・SQL 実務経験（高度） ・自走して SQL を記述できる方 ・ETLパイプラインにおいてストアドプロシージャを多用しているため、ストアドの読解・改修ができること ・生成AIを適切に活用しつつ、仕様理解・レビューは自身で行える方 ・DB 実務経験（Redshift、PostgreSQL） ・運用・保守、テーブル・スキーマ設計 ・ETL/ELT パイプライン実装経験 ・SQL/ストアド中心のETL、加えてPython（可能であれば PySpark）を用いた処理 ・Gitを用いたチーム開発経験（ブランチ運用・レビュー） ・ドキュメント作成スキル（設計書・運用手順など）