PySpark × 東京都のフリーランス案件・求人一覧

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL / ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

Databricksでのデータパイプライン開発経験 SQL等を用いたデータ加工/ETL実装経験

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL / ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL / ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

基本設計から1人称で対応可能な方（SE）、Pythonでのバッチ処理開発経験、Python（PySpark）、AWS（Glue）環境下での開発経験、高稼働下でも作業完遂に向けて協力できる方

AWSサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど）、SQLを用いたデータ抽出・加工・調査経験、Gitの使用経験、明るく自発的・能動的にコミュニケーションが取れること。

Databricksによるデータ処理開発経験 DWHの設計・構築経験 Domoの設計・開発経験

基本設計から1人称でご対応可能な方（SEとして動ける方） Pythonでのバッチ処理開発経験（※Javaでのバッチ処理開発経験者でも検討可） Python（PySpark）、AWS（Glue）環境下での開発経験 （※Java・AWS環境での開発経験者でも検討可） 高稼働（短納期）の中でも作業完遂に向けてご協力いただける方

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

基本設計から1人称でご対応可能な方（SEとして動ける方） Pythonでのバッチ処理開発経験（※Javaでのバッチ処理開発経験者でも検討可） Python（PySpark）、AWS（Glue）環境下での開発経験 （※Java・AWS環境での開発経験者でも検討可） 高稼働（短納期）の中でも作業完遂に向けてご協力いただける方

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

Databricksによるデータ処理開発経験 DWHの設計・構築経験 Domoの設計・開発経験

Snowflake、dbt、SQL / Oracle、データ基礎、Python、MWAA / Apache Airflow、AWS、英語(読み書き・会話)

DWH／データレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift等） SQLによるデータ加工・分析経験（複雑なクエリ設計含む） Pythonによるデータ処理・分析経験（pandas、PySpark等） ETL／ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt等）

オブジェクト指向の理解 実業務でのプログラミング経験2年以上(VB.Net、C系言語、Java等) C系言語の基礎知識(構造体、クラス、ポインタ等)がありソースコードが読めること

Pythonを用いた開発／データ加工経験 SQL（Oracle）を用いたデータ操作経験 必要なカラムを選択し、データ加工／抽出できる方 データマートまたはデータパイプライン構築経験 要件／仕様を理解し、主体的に実装まで進められる方

データエンジニアリング分野で6~10年の実務経験 (うち3年以上はSnowflake、DBT、Apache Airflow/MWAAの実践経験) 本番環境向けデータパイプラインの設計・開発・導入・運用実績 英語:ビジネスレベル以上(会話・読み書き) Snowflake:各種機能活用、パフォーマンス・コスト最適化、セキュリティ管理の実務経験 DBT:プロジェクト開発・保守経験(モデル、マクロ、Incremental Models、CI/CD連携等) SQL / Oracle:高度な実務スキル(JOIN、Window関数、PL/SQL、ストアドプロシージャ等) データ基礎:データ構造・変換・品質管理・モデリング・インクリメンタル処理等の深い理解 Python:高レベルなスキル(Pandas、PySparkによる分散処理・データ変換) MWAA / Apache Airflow:DAG開発、依存関係管理、トラブルシューティングの実務経験 AWS:データ領域サービス(S3, Glue, Lambda, Step Functions等)の実務知識

Databricksによるデータ処理開発経験 DWHの設計・構築経験 Domoの設計・開発経験

・データウェアハウスもしくはデータレイクの設計・構築・運用経験（Snowflake、BigQuery、Synapse、Databricks、Redshift 等いずれか） ・SQLによるデータ加工・分析の実務経験（複雑なクエリ設計含む） ・Pythonを用いたデータ処理・分析の実務経験（pandas、PySpark 等） ・ETL／ELTツールを用いたデータパイプライン構築経験（Data Factory、Airflow、dbt 等）

AWSのサービスの利用経験（Glue、StepFunctions、CloudWatch、APIGatewayなど） SQLを用いたデータ抽出、加工、調査の経験 Gitの使用経験 明るく、自発的、能動的にコミュニケーションを取れる方

PythonおよびSQLを用いたデータマート・データパイプライン構築の実務経験

①OCI環境における、Dataflowを利用したバッチ処理基盤の構築・運用経験1年以上 ② Apache Sparkを用いたデータバッチ処理の開発・運用経験 ③ Spark環境におけるサイジングおよび性能チューニングの実務経験

OCI環境における、Dataflowを利用したバッチ処理基盤の構築・運用経験1年以上、またはApache Sparkを用いたデータバッチ処理の開発・運用経験、またはSpark環境におけるサイジングおよび性能チューニングの実務経験

Pythonでバッチ処理開発の経験 基本設計から1人称で対応可能な方 Python（PySpark）、AWS（Glue）環境下での開発経験

Databricksによるデータ処理開発経験 DWHの設計・構築経験 Domoの設計・開発経験

Python(2年以上), SQL(2年以上), システム開発に関する設計・開発・テスト経験(3年以上)

Apache Sparkを用いたデータバッチ処理の開発・運用経験（3年以上）、Spark環境におけるサイジングおよび性能チューニングの実務経験

Pythonでバッチ処理開発の経験 基本設計からご対応可能な方 Python（PySpark）、AWS（Glue）の環境下での開発経験

オンプレミスからAWS環境への移行プロジェクト経験(設計〜本番切替まで) AWS主要サービス(Step Functions、AWS Glue、Amazon Redshift、S3、IAM、VPC 等)の実務経験