Sparkのフリーランス案件・求人一覧

Pythonでバッチ処理開発の経験 基本設計から1人称で対応可能な方 Python、AWS環境下での開発経験

データ基盤／DWH移行におけるテスト・検証の実務経験（基盤・非機能観点：データ整合／性能／接続等） Databricksの実務知見（構造・挙動を理解し、テスト設計・実行・不具合切り分けが可能な水準） ITインフラ／基盤観点で構成・挙動を捉えられる素養（インフラ／基盤エンジニアの経験）

Databricksによるデータ処理開発経験 DWHの設計・構築経験 Domoの設計・開発経験

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

AWS Glue,Step Functions,EventBridge 開発経験 PySpark 開発経験 SQL経験（データ抽出,加工,調査） Git経験

AWSサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど）、SQLを用いたデータ抽出・加工・調査経験、Gitの使用経験、明るく自発的・能動的にコミュニケーションが取れること。

・データエンジニアとしての実務経験3～5年以上 ・GCP環境でのデータ設計～実装経験 ・実務でのAI活用経験 ・渋谷常駐可能な方

Databricksによるデータ処理開発経験 DWHの設計・構築経験 Domoの設計・開発経験

BigQueryを用いた設計・運用経験 データエンジニアとしての実務経験3～5年以上 実務でのAI活用経験 渋谷常駐可能な方

基本設計から1人称でご対応可能な方（SEとして動ける方） Pythonでのバッチ処理開発経験（※Javaでのバッチ処理開発経験者でも検討可） Python（PySpark）、AWS（Glue）環境下での開発経験 （※Java・AWS環境での開発経験者でも検討可） 高稼働（短納期）の中でも作業完遂に向けてご協力いただける方

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

・データエンジニアとしての実務経験3～5年以上 ・GCP環境でのデータ設計～実装経験 ・実務でのAI活用経験 ・渋谷常駐可能な方

大規模インフラプロジェクトにおけるPMまたはリード経験 数十〜100名規模のシステム、またはマルチチームが動くプロジェクトでのインフラ領域マネジメント実績 エンタープライズ向けデータ基盤／クラウド基盤の構築・運用経験 AWS、Google Cloud、Azureなどのパブリッククラウドを活用した大規模アーキテクチャの知見 ステークホルダーとの高い合意形成スキル

基本設計から1人称でご対応可能な方（SEとして動ける方） Pythonでのバッチ処理開発経験（※Javaでのバッチ処理開発経験者でも検討可） Python（PySpark）、AWS（Glue）環境下での開発経験 （※Java・AWS環境での開発経験者でも検討可） 高稼働（短納期）の中でも作業完遂に向けてご協力いただける方

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

Pythonを用いた開発／データ加工経験 SQL（Oracle）を用いたデータ操作経験 必要なカラムを選択し、データ加工／抽出できる方 データマートまたはデータパイプライン構築経験 要件／仕様を理解し、主体的に実装まで進められる方

データエンジニアリング分野で6~10年の実務経験 (うち3年以上はSnowflake、DBT、Apache Airflow/MWAAの実践経験) 本番環境向けデータパイプラインの設計・開発・導入・運用実績 英語:ビジネスレベル以上(会話・読み書き) Snowflake:各種機能活用、パフォーマンス・コスト最適化、セキュリティ管理の実務経験 DBT:プロジェクト開発・保守経験(モデル、マクロ、Incremental Models、CI/CD連携等) SQL / Oracle:高度な実務スキル(JOIN、Window関数、PL/SQL、ストアドプロシージャ等) データ基礎:データ構造・変換・品質管理・モデリング・インクリメンタル処理等の深い理解 Python:高レベルなスキル(Pandas、PySparkによる分散処理・データ変換) MWAA / Apache Airflow:DAG開発、依存関係管理、トラブルシューティングの実務経験 AWS:データ領域サービス(S3, Glue, Lambda, Step Functions等)の実務知識

Python(2年以上), SQL(2年以上), システム開発に関する設計・開発・テスト経験(3年以上)

・データ基盤/ストレージの自力構築・運用経験 （Linux+OSS、S3互換オブジェクトストレージ/POSIX/ブロックストレージの理解） ・高い自走力（英語ドキュメントの解読、検証内容の主導的決定・推進） ・顧客との直接・対等な技術議論、および報告書作成・説明能力 ・1人称でプロジェクトを遂行できる方

・データ基盤/ストレージの自力構築・運用経験 （Linux+OSS、S3互換オブジェクトストレージ/POSIX/ブロックストレージの理解） ・高い自走力（英語ドキュメントの解読、検証内容の主導的決定・推進） ・顧客との直接・対等な技術議論、および報告書作成・説明能力 ・1人称でプロジェクトを遂行できる方

Apache Sparkを用いたデータバッチ処理の開発・運用経験（3年以上）、Spark環境におけるサイジングおよび性能チューニングの実務経験

Pythonでバッチ処理開発の経験 基本設計からご対応可能な方 Python（PySpark）、AWS（Glue）の環境下での開発経験

Apache Sparkを用いたデータバッチ処理の開発・運用経験（3年以上）、Spark環境におけるサイジングおよび性能チューニングの実務経験

大量データを処理するバッチシステムの設計経験

大量データを処理するバッチシステムの設計経験

大量データを処理するバッチシステムの設計経験 現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能な方

以下いずれかの組み合わせや類似スキルでの提案も応相談 ・Databricks（Apache Sparkパイプライン開発／DeltaLake構築）もしくは他ETL製品によるデータ加工 ・SAS Viya／SAS EG ・AWS（S3） ・Azure（Blob Storage） ・Google Cloud（BigQuery）

①OCI環境における、Dataflowを利用したバッチ処理基盤の構築・運用経験1年以上 ② Apache Sparkを用いたデータバッチ処理の開発・運用経験 ③ Spark環境におけるサイジングおよび性能チューニングの実務経験

バックエンド開発経験、または、データエンジニアとしての開発経験 実データ（生データ）を扱ったデータの加工・集計・パフォーマンスチューニングの経験（SQL等） AWSを始めとするクラウドサービスを利用した開発経験

Apache Sparkを用いたデータバッチ処理の開発・運用経験 Spark環境におけるサイジングおよび性能チューニングの実務経験