Sparkの案件

データ基盤 / DWHのアーキテクチャ設計経験 大規模データ処理（数千万〜数億レコード規模）の設計・開発経験 クラウド環境におけるデータ基盤構築経験（GCP / AWS / OCI 等） SQL / Pythonを用いたデータパイプライン開発経験 データモデリング（DWH / OBT / Star Schema等）の実務経験 データ基盤におけるアクセス制御・セキュリティ設計経験

Databricksの運用・保守経験（設計・構築まで経験あれば尚良し） クラウド（Azure）の運用・保守経験（設計・構築まで経験あれば尚良し） DWH・ETLシステムの運用・保守経験（設計・構築まで経験あれば尚良し） ジョブ管理ツールの運用・保守の経験（System Wallker Operayion Manager）

Pythonを用いた開発実務経験 SQL, Power Query, VBAを用いた実務経験 AWS環境（Glue, Athena等）の知見・利用経験 データ分析業務経験（データマート作成、分析基盤の構築・運用） ETL処理の開発・運用経験 生成AI（GitHub Copilot等）の導入・活用に意欲的な方 GitHubを用いたソースおよびドキュメント管理の経験

Redshift, Glue, QuickSightなどのインフラ構築経験(IaC/CDK) DWH内のスキーマやテーブル作成経験 Pythonを用いた開発経験(PySparkの習得意欲がある方) QuickSightでのダッシュボード開発経験(GUIベース)

Webアプリケーションでのオンライン処理開発に関する一般的な技術 （Web画面/アプリケーションの設計、製造、テスト） SQLでの基本的なクエリのコーディング、オペレーション AWS環境での基本的なオペレーション linux環境での基本的なオペレーション

Pythonでの開発経験 ETL/ELT 開発経験 ネットワーク運用の経験または知見

HadoopまたはSparkの運用業務経験（1年以上）、障害対応経験（2年以上）、コミュニケーション力

hadoop, trino, spark のいずれかの開発経験

SQLの実務経験 PySpark, またはPythonの経験 課題解決のためのコミュニケーション（質問/報告/相談）を積極的に取れる方 基本設計～の経験

データエンジニアリングまたはアナリティクスエンジニアリング経験5年以上 SQLおよびPythonを用いたデータパイプライン開発経験（Databricks／Spark／dbt等） AWS環境でのデータ基盤構築・運用経験およびGit／CI/CDの実務経験 Databricks上でのデータパイプライン設計・実装 Sparkなどのデータ処理フレームワークの実務経験

LLM/MLの本番運用経験 モデル評価指標の設計経験 データ分析に基づく改善提案経験 LLMOpsツールの利用経験

Databricksの運用、保守経験 クラウド(Azure)の運用、保守経験 DWH、ETLシステムの運用、保守経験 ジョブ管理ツール(System Walker Operation Manager)の運用、保守経験

Pythonを用いた開発実務経験 SQL, Power Query, VBAを用いた実務経験 AWS環境（Glue, Athena等）の知見・利用経験 データ分析業務経験（データマート作成、分析基盤の構築・運用） ETL処理の開発・運用経験 生成AI（GitHub Copilot等）の導入・活用に意欲的な方 GitHubを用いたソースおよびドキュメント管理の経験

データエンジニアリングまたはアナリティクスエンジニアリングの実務経験（5年以上） SQLおよびPythonを用いたデータパイプライン開発経験 Databricks、Spark、dbtなどのデータ基盤関連技術の実務経験 AWS環境でのデータ基盤構築または運用経験 GitおよびCI/CDを用いた開発経験 設計や技術判断を主体的に推進できる方

Java＋Junit または Python＋pyspark（経験5年以上）、銀行系システム開発経験

Pythonの業務経験(2年以上) SQLの業務経験(2年以上) システム開発に関する設計・開発・テストの経験(3年以上)

AWS環境でのインフラ構築・運用経験（S3/IAM/VPC等）、GCPでの構築経験（特にBigQueryとIAM/ネットワーク設定）、BigQueryを用いた分析SQL実務経験（パーティショニング/クラスタリング）、AWS Glue（PySpark）でのETL開発・パフォーマンスチューニング、TerraformによるIaC実践（マルチクラウドor複数環境）。

Pythonを用いた開発実務経験 SQL, Power Query, VBAを用いた実務経験 AWS環境（Glue, Athena等）の知見・利用経験 データ分析業務経験（データマート作成、分析基盤の構築・運用） ETL処理の開発・運用経験 生成AI（GitHub Copilot等）の導入・活用に意欲的な方 GitHubを用いたソースおよびドキュメント管理の経験

AWS 基盤(EC2/ALB/Aurora/PostgreSQL/S3/Glue/CloudWatch)の構築 Aurora PostgreSQL のスキーマ/テーブル設計の理解 Glue(PySpark/Python)による ETL(抽出/変換/CSV/日次/失敗検知/リトライ/ログ連携) Okta 連携 SSO/ユーザ ID 自動連携、MasterInfinity の権限/運用

AWS環境でのインフラ構築・運用経験（S3 / IAM / VPC など）、GCPでの構築経験（特に BigQuery と IAM/ネットワーク設定）、BigQueryを用いた分析 SQL 実務経験（パーティショニング/クラスタリング）、AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング、Terraformによる IaC 実践（マルチクラウド or 複数環境）。

Pythonでの開発経験 AWSの知見（各種サービス利用経験） データ分析業務経験 生成AI導入に前向きな方

-PythonまたはPySparkでの開発経験3年以上 -詳細設計経験および -アジャイルでの開発経験 -自発的な行動と円滑なコミュニケーション能力

PythonまたはPySparkでの開発経験3年以上 詳細設計経験 アジャイルでの開発経験 自発的な行動と円滑なコミュニケーション能力

SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験 データパイプライン構築・運用経験 Git等のバージョン管理システムの使用経験 テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） 要件定義、基本設計、詳細設計、テスト設計の経験 プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

・Databricks / Spark の開発経験（3年以上目安） ・Sparkクラスタのチューニング経験 ・大規模データ（数億件規模）の処理経験

大量データを処理するバッチシステムの設計経験

大量データを処理するバッチシステムの設計経験

大量データを処理するバッチシステムの設計経験 現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能な方

以下いずれかの組み合わせや類似スキルでの提案も応相談 ・Databricks（Apache Sparkパイプライン開発／DeltaLake構築）もしくは他ETL製品によるデータ加工 ・SAS Viya／SAS EG ・AWS（S3） ・Azure（Blob Storage） ・Google Cloud（BigQuery）

・Databricksまたは類似のクラウドデータ基盤の運用・保守経験 ・Sparkログを用いた原因調査・切り分けの経験 ・利用部門・関連部署との調整を伴う運用業務経験