Sparkのフリーランス案件・求人一覧

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験

・スクラム開発経験 ・AWS(ECS, StepFunction, 各種リソース...)の知見 ・kubernetesの知識 ・python(pyspark, jupyter notebook...) ・Dockerfileの作成・読解経験 ・機械学習アプリケーションに関する知見 ・Githubアクションのコード作成・読解経験

・バックエンドの技術選定およびアーキテクチャ設計の実践能力 ・マイクロサービスの設計・開発・運用経験 ・大規模データ基盤、分散コンピューティング、データパイプラインの設計・開発・運用経験 ・非同期ジョブ基盤の設計・開発経験 ・ビジネス上重要な非機能要件（可用性、応答性能、セキュリティ等）の要件定義 ・Kubernetes環境での開発・運用経験 ・Dagsterを利用したデータ基盤の構築・運用経験 ・日本語での流暢なビジネスコミュニケーション能力

Java／TypeScript／Python の理解・実装経験 Docker Microsoft Azure（Data Lake Storage, Synapse）

Java／TypeScript／Python の理解・実装経験 Docker（Spark読解できれば尚可） Microsoft Azure（以下いずれか） - Data Lake Storage - Synapse（Container Apps経験あれば尚可）

・AWS Glue（VisualETL） or PySparkの経験 ※上記、どちらか一方でも可 ・RDBMSの経験 ・Python ・SQL ・Amazon Redshift ・Amazon S3 ・Power BI

・Pythonを用いた開発経験10年以上 ・5名程度の開発チームのリーダー経験 ・開発フレームワーク/ツール/プロセスの選定と制定 ・Data Pipeline構築経験(ETL開発経験) ・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解 ・DWHやETL等のビッグデータ実装への理解 ・Pytest等を使ってテストコード実装したことがある人(知識がある人) ・AWS上でのシステム開発経験(AWSの環境をいじったことがある) ・サーバレスのWF(ワークフロー)開発の経験 ・Airflow・DAGの開発経験もしくは概念の理解

・Pythonを用いた開発経験10年以上 ・5名程度の開発チームのリーダー経験 ・開発フレームワーク/ツール/プロセスの選定と制定 ・Data Pipeline構築経験(ETL開発経験) ・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解 ・DWHやETL等のビッグデータ実装への理解 ・Pytest等を使ってテストコード実装したことがある人(知識がある人) ・AWS上でのシステム開発経験(AWSの環境をいじったことがある) ・サーバレスのWF(ワークフロー)開発の経験 ・Airflow・DAGの開発経験もしくは概念の理解

・Pythonを用いた開発経験10年以上 ・5名程度の開発チームのリーダー経験 ・開発フレームワーク/ツール/プロセスの選定と制定 ・Data Pipeline構築経験(ETL開発経験) ・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解 ・DWHやETL等のビッグデータ実装への理解 ・Pytest等を使ってテストコード実装したことがある人(知識がある人) ・AWS上でのシステム開発経験(AWSの環境をいじったことがある) ・サーバレスのWF(ワークフロー)開発の経験 ・Airflow・DAGの開発経験もしくは概念の理解

・Pythonを用いた開発経験10年以上 ・5名程度の開発チームのリーダー経験 ・開発フレームワーク/ツール/プロセスの選定と制定 ・Data Pipeline構築経験(ETL開発経験) ・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解 ・DWHやETL等のビッグデータ実装への理解 ・Pytest等を使ってテストコード実装したことがある人(知識がある人) ・AWS上でのシステム開発経験(AWSの環境をいじったことがある) ・サーバレスのWF(ワークフロー)開発の経験 ・Airflow・DAGの開発経験もしくは概念の理解

・エンジニアとしての開発実務経験3年以上 ・開発プロジェクトマネジメント(品質・進行管理)の実務経験3年以上 ・複数のプロジェクトを管理した実務経験 ・開発プロジェクトにおいて技術者・非技術者双方とのコミュニケーションを行なった実務経験

・データ分析基盤の構築経験が豊富 ・Databricksの経験（1人称） ・既存システムの仕様把握・キャッチアップ能力が高い方 ・以下の技術を利用したシステム構築および開発経験 Azure関連：Azure Data Factory, Azure Data Lake Storage, Azure Databricks ツール,言語関連：SQL, Python（特にPySpark）, Apache Spark

Python経験

・アジャイル開発経験 ・なんらかのBIツールでダッシュボード構築経験あり ・バックエンド経験あり（SQL書ける経験あればOK）

・アジャイル開発経験 ・なんらかのBIツールでダッシュボード構築経験あり ・バックエンド経験あり（SQL書ける経験あればOK）

ストアドプロシージャ設計ご経験 要件定義、基本設計のご経験

■機械学習・データ分析の実務経験（2年以上） ・スコアリングモデルの開発・運用経験 ・データ分析をもとにアルゴリズムの改善を行った経験 ・Python + 機械学習ライブラリの実装経験（2年以上） （Python, NumPy, pandas, scikit-learn）など ・あれば尚可:（TensorFlow, PyTorch などの深層学習フレームワーク） ■データ処理・前処理の知識（1年以上） ・企画チームが定義したスコアリング基準をもとに、AI判定システムを設計・実装できるスキル ・バックエンドチームが提供するデータを活用し、最適なスコアリングロジックを開発できるスキル ・クレンジング・異常値処理の経験 ■AWS環境での機械学習・データ処理の経験（1年以上） ・必須: AWSを活用した機械学習・データ処理の実装経験 ・あれば尚可：Amazon SageMaker, AWS Lambda, AWS Glue, Amazon S3 などの活用経験 ■API連携の基礎知識（1年以上） ・必須: REST APIを用いたデータ取得・統合の経験 ・あれば尚可: バックエンドとのAPI連携設計

・SQL（ストアドプロシージャ等）の設計経験 ・IT業界経験3年以上

・SQL（ストアドプロシージャ等）の設計経験 ・IT業界経験3年以上

■機械学習・データ分析の実務経験（2年以上） ・スコアリングモデルの開発・運用経験 ・データ分析をもとにアルゴリズムの改善を行った経験 ・Python + 機械学習ライブラリの実装経験（2年以上） （Python, NumPy, pandas, scikit-learn）など ・あれば尚可:（TensorFlow, PyTorch などの深層学習フレームワーク） ■データ処理・前処理の知識（1年以上） ・企画チームが定義したスコアリング基準をもとに、AI判定システムを設計・実装できるスキル ・バックエンドチームが提供するデータを活用し、最適なスコアリングロジックを開発できるスキル ・クレンジング・異常値処理の経験 ■AWS環境での機械学習・データ処理の経験（1年以上） ・必須: AWSを活用した機械学習・データ処理の実装経験 ・あれば尚可：Amazon SageMaker, AWS Lambda, AWS Glue, Amazon S3 などの活用経験 ■API連携の基礎知識（1年以上） ・必須: REST APIを用いたデータ取得・統合の経験 ・あれば尚可: バックエンドとのAPI連携設計

〇機械学習・データ分析の実務経験（2年以上） ・スコアリングモデルの開発・運用経験 ・データ分析をもとにアルゴリズムの改善を行った経験 〇Python + 機械学習ライブラリの実装経験（2年以上） ・必須: Python, NumPy, pandas, scikit-learn など ・あれば尚可: TensorFlow, PyTorch などの深層学習フレームワーク 〇データ処理・前処理の知識（1年以上） ・企画チームが定義したスコアリング基準をもとに、AI判定システムを設計・実装できるスキル ・バックエンドチームが提供するデータを活用し、最適なスコアリングロジックを開発できるスキル ・クレンジング・異常値処理の経験 〇AWS環境での機械学習・データ処理の経験（1年以上） ・必須: AWSを活用した機械学習・データ処理の実装経験 ・あれば尚可：Amazon SageMaker, AWS Lambda, AWS Glue, Amazon S3 などの活用経験 〇API連携の基礎知識（1年以上） ・必須: REST APIを用いたデータ取得・統合の経験 ・あれば尚可: バックエンドとのAPI連携設計

AIや機械学習技術の調査・検証、フィジビリティスタディ、プロダクトへの実装経験 AWSサービス（特にSageMakerやLambdaを含む）を用いたシステム構築の経験 モデルのAPI化やバックエンド・インフラ連携を考慮したシステム開発経験 調査結果や実装内容を定期的に報告・共有し、必要に応じてドキュメント化ができる方 単に提供されているモデルを利用するだけでなく、独自のカスタマイズやアルゴリズムの調整、またはモデルの最適化に強みがある方（尚可） リアルタイム処理技術に関する知識（尚可） リアルタイムの音声・画像変換技術の実装経験や知識がある方（尚可） 探索的業務への適応力（尚可） 新技術の探索や不確実な状況下での仮説検証が得意な方（尚可）

■機械学習・データ分析の実務経験（2年以上） ・スコアリングモデルの開発・運用経験 ・データ分析をもとにアルゴリズムの改善を行った経験 ・Python + 機械学習ライブラリの実装経験（2年以上） （Python, NumPy, pandas, scikit-learn）など ・あれば尚可:（TensorFlow, PyTorch などの深層学習フレームワーク） ■データ処理・前処理の知識（1年以上） ・企画チームが定義したスコアリング基準をもとに、AI判定システムを設計・実装できるスキル ・バックエンドチームが提供するデータを活用し、最適なスコアリングロジックを開発できるスキル ・クレンジング・異常値処理の経験 ■AWS環境での機械学習・データ処理の経験（1年以上） ・必須: AWSを活用した機械学習・データ処理の実装経験 ・あれば尚可：Amazon SageMaker, AWS Lambda, AWS Glue, Amazon S3 などの活用経験 ■API連携の基礎知識（1年以上） ・必須: REST APIを用いたデータ取得・統合の経験 ・あれば尚可: バックエンドとのAPI連携設計

【必須】 ■機械学習・データ分析の実務経験（2年以上） ・スコアリングモデルの開発・運用経験 ・データ分析をもとにアルゴリズムの改善を行った経験 ・Python + 機械学習ライブラリの実装経験（2年以上） （Python, NumPy, pandas, scikit-learn）など ・あれば尚可:（TensorFlow, PyTorch などの深層学習フレームワーク） ■データ処理・前処理の知識（1年以上） ・企画チームが定義したスコアリング基準をもとに、AI判定システムを設計・実装できるスキル ・バックエンドチームが提供するデータを活用し、最適なスコアリングロジックを開発できるスキル ・クレンジング・異常値処理の経験 ■AWS環境での機械学習・データ処理の経験（1年以上） ・必須: AWSを活用した機械学習・データ処理の実装経験 ・あれば尚可：Amazon SageMaker, AWS Lambda, AWS Glue, Amazon S3 などの活用経験 ■API連携の基礎知識（1年以上） ・必須: REST APIを用いたデータ取得・統合の経験 ・あれば尚可: バックエンドとのAPI連携設計

AIや機械学習技術の調査・検証、フィジビリティスタディ、プロダクトへの実装経験 AWSサービス（特にSageMakerやLambdaを含む）を用いたシステム構築の経験 モデルのAPI化やバックエンド・インフラ連携を考慮したシステム開発経験 調査結果や実装内容を定期的に報告・共有し、必要に応じてドキュメント化ができる方 単に提供されているモデルを利用するだけでなく、独自のカスタマイズやアルゴリズムの調整、またはモデルの最適化に強みがある方（尚可） リアルタイム処理技術に関する知識（尚可） リアルタイムの音声・画像変換技術の実装経験や知識がある方（尚可） 探索的業務への適応力（尚可） 新技術の探索や不確実な状況下での仮説検証が得意な方（尚可）

■機械学習・データ分析の実務経験（2年以上） ・スコアリングモデルの開発・運用経験 ・データ分析をもとにアルゴリズムの改善を行った経験 ・Python + 機械学習ライブラリの実装経験（2年以上） （Python, NumPy, pandas, scikit-learn）など ・あれば尚可:（TensorFlow, PyTorch などの深層学習フレームワーク） ■データ処理・前処理の知識（1年以上） ・企画チームが定義したスコアリング基準をもとに、AI判定システムを設計・実装できるスキル ・バックエンドチームが提供するデータを活用し、最適なスコアリングロジックを開発できるスキル ・クレンジング・異常値処理の経験 ■AWS環境での機械学習・データ処理の経験（1年以上） ・必須: AWSを活用した機械学習・データ処理の実装経験 ・あれば尚可：Amazon SageMaker, AWS Lambda, AWS Glue, Amazon S3 などの活用経験 ■API連携の基礎知識（1年以上） ・必須: REST APIを用いたデータ取得・統合の経験 ・あれば尚可: バックエンドとのAPI連携設計

■機械学習・データ分析の実務経験（2年以上） ・スコアリングモデルの開発・運用経験 ・データ分析をもとにアルゴリズムの改善を行った経験 ・Python + 機械学習ライブラリの実装経験（2年以上） （Python, NumPy, pandas, scikit-learn）など ・あれば尚可:（TensorFlow, PyTorch などの深層学習フレームワーク） ■データ処理・前処理の知識（1年以上） ・企画チームが定義したスコアリング基準をもとに、AI判定システムを設計・実装できるスキル ・バックエンドチームが提供するデータを活用し、最適なスコアリングロジックを開発できるスキル ・クレンジング・異常値処理の経験 ■AWS環境での機械学習・データ処理の経験（1年以上） ・必須: AWSを活用した機械学習・データ処理の実装経験 ・あれば尚可：Amazon SageMaker, AWS Lambda, AWS Glue, Amazon S3 などの活用経験 ■API連携の基礎知識（1年以上） ・必須: REST APIを用いたデータ取得・統合の経験 ・あれば尚可: バックエンドとのAPI連携設計

・AWS上での開発経験 ・Python開発経験 ・Git操作が一通りできること ・DataBase(RDB)を活用したアプリケーションの開発経験 ・IaC(Terraformなど)を使用してクラウドインフラの使用経験 ・使ったことのない技術に関するキャッチアップ力

・多言語（英語等）にて実装されたご経験 ・レコメンド機能を開発されたご経験 ・ベクトル検索の知見がある方