Sparkのフリーランス案件・求人一覧

①OCI環境における、Dataflowを利用したバッチ処理基盤の構築・運用経験1年以上 ② Apache Sparkを用いたデータバッチ処理の開発・運用経験 ③ Spark環境におけるサイジングおよび性能チューニングの実務経験

バックエンド開発経験、または、データエンジニアとしての開発経験 実データ（生データ）を扱ったデータの加工・集計・パフォーマンスチューニングの経験（SQL等） AWSを始めとするクラウドサービスを利用した開発経験

Apache Sparkを用いたデータバッチ処理の開発・運用経験 Spark環境におけるサイジングおよび性能チューニングの実務経験

- バックエンド開発経験、または、データエンジニアとしての開発経験 - 実データ（生データ）を扱ったデータの加工・集計・パフォーマンスチューニングの経験（SQL等） - AWSを始めとするクラウドサービスを利用した開発経験

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL / ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

大規模インフラプロジェクトにおけるPMまたはリード経験 数十〜100名規模のシステム、またはマルチチームが動くプロジェクトでのインフラ領域マネジメント実績 エンタープライズ向けデータ基盤／クラウド基盤の構築・運用経験 AWS、Google Cloud、Azureなどのパブリッククラウドを活用した大規模アーキテクチャの知見 ステークホルダーとの高い合意形成スキル 抽象的な要望から要件を定義し、顧客や他チームと能動的に仕様調整・提案ができる能力

Databricksでのデータパイプライン開発経験 SQL等を用いたデータ加工/ETL実装経験

Python を用いた実務開発経験（3年以上目安） SQL を用いた高度なデータ抽出・集計・DB設計の実務経験 Azure（Azure Synapse Analytics, Blob Storage 等）を用いたデータ基盤構築・運用経験 Databricks に関する実務知識・開発経験

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL / ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL / ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

Python、SQL、Azure(AWSでも検討可)、Databricks

データ基盤／ストレージの構築・運用経験 LinuxおよびOSS環境での構築・運用経験 S3互換オブジェクトストレージ、POSIX、ブロックストレージの知識 英語ドキュメントを読み解き、主体的に調査・検証を進められる方 顧客との技術的な折衝、報告書作成、技術説明の経験

基本設計から1人称で対応可能な方（SE）、Pythonでのバッチ処理開発経験、Python（PySpark）、AWS（Glue）環境下での開発経験、高稼働下でも作業完遂に向けて協力できる方

ソフトウェアエンジニアリング経験3年以上 TypeScriptでの開発経験1年以上 テスト自動化フレームワーク（Jest、Playwright、Vitestなど）の利用経験 テスト設計経験

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL / ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

ソフトウェアエンジニア経験 (3年以上) 　 - TypeScript での開発経験 AIを活用し、自動テストや業務改善を実践した経験 品質視点でのテスト設計、手動テスト・検証のご経験 ビジネス / CS / エンジニアなど、非エンジニアとのコミュニケーション経験

オンプレミスからクラウド環境への移行プロジェクト経験(設計〜本番切替まで) ジョブスケジューラ(JP1等)の運用または移行経験 ETLツール(Asteria、Informatica、DataSpider 等)を用いた開発・移行経験 DWH(Greenplum、Teradata、Oracle Exadata、Redshift 等)の設計または移行経験 クラウド環境でのサービス(S3、IAM、VPC、Glue、Redshift、Step Functions 等)の実務経験 ステークホルダー調整・課題管理を主体的に推進できるコミュニケーション力

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

Databricksによるデータ処理開発経験 DWHの設計・構築経験 Domoの設計・開発経験

Snowflake、dbt、SQL / Oracle、データ基礎、Python、MWAA / Apache Airflow、AWS、英語(読み書き・会話)

大規模データ基盤（DWH）設計・構築経験 GCP環境でのデータ設計～実装経験 大量データの分散処理経験

DWH／データレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift等） SQLによるデータ加工・分析経験（複雑なクエリ設計含む） Pythonによるデータ処理・分析経験（pandas、PySpark等） ETL／ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt等）

オブジェクト指向の理解 実業務でのプログラミング経験2年以上(VB.Net、C系言語、Java等) C系言語の基礎知識(構造体、クラス、ポインタ等)がありソースコードが読めること

データ移行／DWH移行プロジェクトの経験 移行に伴う現新比較、検証、試験、課題対応等の経験 関係者と連携しながら主体的にタスクを推進できる方

AIエージェント、ローカルLLMを用いたシステム開発経験 3年以上のシステム開発経験(言語は問わない) 1年以上のシステム運用経験 コード読解:SQL(DML/DDL)

Pythonを用いた開発／データ加工経験 SQL（Oracle）を用いたデータ操作経験 必要なカラムを選択し、データ加工／抽出できる方 データマートまたはデータパイプライン構築経験 要件／仕様を理解し、主体的に実装まで進められる方

大規模データ基盤（DWH）設計・構築経験 GCP環境でのデータ設計～実装経験 大量データの分散処理経験

Pythonでの開発経験 AWS環境での開発経験 基本設計の経験

機械学習のモデリング業務経験（LLM、自然言語処理、画像処理、構造化データ等）、要件定義・モデル設計・評価まで一貫してリードした実務経験、クラウドサービス（AWS/GCP/Azureなど）を用いた開発経験、git / dockerを用いたチーム開発経験、顧客折衝・課題発見から解決策立案（要件定義）を担った経験、プロジェクトリードまたはチームリーディングの経験

データエンジニアリング分野で6~10年の実務経験 (うち3年以上はSnowflake、DBT、Apache Airflow/MWAAの実践経験) 本番環境向けデータパイプラインの設計・開発・導入・運用実績 英語:ビジネスレベル以上(会話・読み書き) Snowflake:各種機能活用、パフォーマンス・コスト最適化、セキュリティ管理の実務経験 DBT:プロジェクト開発・保守経験(モデル、マクロ、Incremental Models、CI/CD連携等) SQL / Oracle:高度な実務スキル(JOIN、Window関数、PL/SQL、ストアドプロシージャ等) データ基礎:データ構造・変換・品質管理・モデリング・インクリメンタル処理等の深い理解 Python:高レベルなスキル(Pandas、PySparkによる分散処理・データ変換) MWAA / Apache Airflow:DAG開発、依存関係管理、トラブルシューティングの実務経験 AWS:データ領域サービス(S3, Glue, Lambda, Step Functions等)の実務知識