Sparkのフリーランス案件・求人一覧

・Python（pandas / PySpark等）によるデータ加工の実務経験 3年以上 ・SQLの実務経験 3年以上 ・BIツール（Power BI / Tableau等）向けに、顧客要件に沿ったデータ作成またはレポート実装を行った経験 【必須（以下のいずれか1つ以上）】 ・Microsoft Fabric（特に、Lakehouse / Notebook）での実装経験 ・Apache Spark（PySpark / Spark SQL）を用いた開発経験 ・Azure / AWS / Google Cloud のいずれかで、データパイプライン・DWH・データ基盤の設計、実装または運用に携わった経験

DatabricksまたはSpark／PySparkを用いた開発経験 SQLを用いたデータ分析・ETL開発経験

BigQueryを用いた設計・運用経験 データエンジニアとしての実務経験3～5年以上 実務でのAI活用経験

PMまたはリード経験 エンタープライズ向けデータ基盤／クラウド基盤の構築・運用経験 Azureを活用した大規模アーキテクチャの知見 ステークホルダーとの合意形成スキル

・BigQueryを用いたデータ基盤の設計・開発・運用経験 ・dbtやDataformを用いたデータモデリング・ELTパイプラインの開発経験 ・インフラの基礎知識 ・PythonおよびSQLを用いたデータ処理の実務経験

Pythonを用いた開発／データ加工経験 SQL（Oracle）を用いたデータ操作経験 必要なカラムを選択し、データ加工／抽出できる方 データマートまたはデータパイプライン構築経験 要件／仕様を理解し、主体的に実装まで進められる方

・Databricks / Spark の開発経験（3年以上目安） ・Sparkクラスタのチューニング経験 ・大規模データ（数億件規模）の処理経験

以下いずれかの組み合わせや類似スキルでの提案も応相談 ・Databricks（Apache Sparkパイプライン開発／DeltaLake構築）もしくは他ETL製品によるデータ加工 ・SAS Viya／SAS EG ・AWS（S3） ・Azure（Blob Storage） ・Google Cloud（BigQuery）

ソフトウェアエンジニア経験 (3年以上) 　 - TypeScript での開発経験 AIを活用し、自動テストや業務改善を実践した経験 品質視点でのテスト設計、手動テスト・検証のご経験 ビジネス / CS / エンジニアなど、非エンジニアとのコミュニケーション経験

移動体や時系列の大規模なraw（生）データの処理経験 データパイプラインシステム（データ処理基盤）の構築経験 クラウド環境（特にAWS：S3,EC2,EKS,EMR,AWS Glue,Athena,RDSなど）での実務経験 Apache Sparkなどのビッグデータフレームワークの利用経験 Python,Java,SQL,Linux,Bashの実務経験 生データの内容を把握した上でのデータ比較/加工/集計/分析要件定義、およびデータベースやサーバーサイドの設計/実装/ドキュメンテーション能力

データ基盤 / DWHのアーキテクチャ設計経験 大規模データ処理（数千万〜数億レコード規模）の設計・開発経験 クラウド環境におけるデータ基盤構築経験（GCP / AWS / OCI 等） SQL / Pythonを用いたデータパイプライン開発経験 データモデリング（DWH / OBT / Star Schema等）の実務経験 データ基盤におけるアクセス制御・セキュリティ設計経験

Databricksの運用・保守経験（設計・構築まで経験あれば尚良し） クラウド（Azure）の運用・保守経験（設計・構築まで経験あれば尚良し） DWH・ETLシステムの運用・保守経験（設計・構築まで経験あれば尚良し） ジョブ管理ツールの運用・保守の経験（System Wallker Operayion Manager）

Redshift, Glue, QuickSightなどのインフラ構築経験(IaC/CDK) DWH内のスキーマやテーブル作成経験 Pythonを用いた開発経験(PySparkの習得意欲がある方) QuickSightでのダッシュボード開発経験(GUIベース)

Pythonでの開発経験 ETL/ELT 開発経験 ネットワーク運用の経験または知見

Pythonでの開発経験 ETL/ELT 開発経験 ネットワーク運用の経験または知見

AWS 基盤(EC2/ALB/Aurora/PostgreSQL/S3/Glue/CloudWatch)の構築 Aurora PostgreSQL のスキーマ/テーブル設計の理解 Glue(PySpark/Python)による ETL(抽出/変換/CSV/日次/失敗検知/リトライ/ログ連携) Okta 連携 SSO/ユーザ ID 自動連携、MasterInfinity の権限/運用

・AWSインフラの構築経験 ・Oracleの経験

BigQueryを用いた開発経験 DWH／データ基盤の開発経験 Airflow の利用経験 データ取り込みパイプラインの設計・実装経験

Databricks / Spark の開発経験（3年以上目安） Sparkクラスタのチューニング経験 大規模データ（数億件規模）の処理経験 Azure環境（Data Factory、SQL等）の構築経験 SQLクエリの最適化スキル

・Pysparkのコーディングに精通していること。※1人称で自走できること ・Pysparkでパフォーマンスチューニングの経験があること

・エンジニアとしての開発実務経験3年以上 ・開発プロジェクトマネジメントの実務経験3年以上 ・複数プロジェクトの管理経験 ・技術者・非技術者双方とのコミュニケーション経験

アーキ検討者： ・データレイクハウスアーキ検討経験 ・BI連携 ・オンプレ/クラウド設計経験 テックリード： ・Python/ETL開発経験 ・データモデリング経験 ・BI設計経験

【AWSアーキテクチャ】 ・AWSアーキテクチャ経験 【アプリケーション開発】 ・WEBアプリケーション開発経験 ・SQLのご経験 【BIレポート作成】 ・SQLのご経験 ・コミュニケーション能力が高い方

イメージ的には性能改善のための内部設計のイメージがつく方 ・Python / SQLのバッチ側の保守・メンテを実施していた方 ・Polarsの利用経験 ・Redisの利用経験 ・キューの高速化の知見 ・マルチプロセス、マルチスレッドの知見 ・SQLAlchemy(O/Rマッパー)の利用経験

・アプリケーション開発経験 3年以上 ・Goの開発経験2年以上 ・顧客視点のコミュニケーションができる方

・インフラエンジニアとしての経験豊富な方 - Azure - WindowsSever - Network - VMware

・データエンジニアとしての実務経験3～5年以上 ・GCP環境でのデータ設計～実装経験 ・実務でのAI活用経験 ・渋谷常駐可能な方

・データエンジニアとしての実務経験3～5年以上 ・GCP環境でのデータ設計～実装経験 ・実務でのAI活用経験 ・渋谷常駐可能な方

大規模データ基盤（DWH）設計・構築経験 GCP環境でのデータ設計～実装経験 大量データの分散処理経験

大規模データ基盤（DWH）設計・構築経験 GCP環境でのデータ設計～実装経験 大量データの分散処理経験