Sparkの案件

-PythonまたはPySparkでの開発経験3年以上 -詳細設計経験および -アジャイルでの開発経験 -自発的な行動と円滑なコミュニケーション能力

・SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験 ・データパイプライン構築・運用経験 ・Git等のバージョン管理システムの使用経験 ・テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

PythonまたはPySparkでの開発経験3年以上 詳細設計経験 アジャイルでの開発経験 自発的な行動と円滑なコミュニケーション能力

SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験 データパイプライン構築・運用経験 Git等のバージョン管理システムの使用経験 テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） 要件定義、基本設計、詳細設計、テスト設計の経験 プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

・AWSを用いた開発経験 （EventBridge、StepFunctions、Lambda、Glue） ・AWS基盤全般の知識 （S3、EC2、SG、ELB 等） ・Tableau Prepを用いたデータ加工、前処理の実務経験 ・Tableau Serverの環境設定、運用経験 ・テーブル定義書、Stored Procedure、IF定義書のレビュー経験 ・複数テーブルJOINを伴うSQL実装経験 ・Stored Procedureの開発経験 ・Python開発経験 ・PySparkを用いたデータパイプライン構築経験 ・Gitを利用したチーム開発経験 ・情報系システム、または何らかのシステム運用経験 ・ジョブフロー設計書のレビュー経験

-PythonまたはPySparkでの開発経験3年以上 -詳細設計経験および -アジャイルでの開発経験 -自発的な行動と円滑なコミュニケーション能力

・Pythonを用いた開発実務経験（3年以上） ・SQLを用いた高度なデータ集計の実装経験 ・大規模データへの興味・関心

AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング Terraform による IaC 実践（マルチクラウド or 複数環境）

Python、Java、Javascript、RDB（Microsoft SQL Server）の設計・製造経験（※Python未経験でも意欲的に学習可能であれば可。他言語でも既存ソースから処理把握が可能であれば可） ・業務経験3年以上、ロジカルシンキング、良好なコミュニケーションで一人称で動ける方

AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など）、GCP での構築経験（特に BigQuery と IAM/ネットワーク設定）、BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング）、AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング、Terraform による IaC 実践（マルチクラウド or 複数環境）

・Python、Java、Javascript、RDB（Microsoft SQL Server）の設計・製造経験（※Python未経験でも意欲的に学習可能であれば可。他言語でも既存ソースから処理把握が可能であれば可） ・業務経験3年以上、ロジカルシンキング、良好なコミュニケーションで一人称で動ける方

・AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・Terraform による IaC 実践（マルチクラウド or 複数環境）

・Python、Java、Javascript、RDB（Microsoft SQL Server）の設計・製造経験（※Python未経験でも意欲的に学習可能であれば可。他言語でも既存ソースから処理把握が可能であれば可） ・業務経験3年以上、ロジカルシンキング、良好なコミュニケーションで一人称で動ける方

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験

【AWS】 ・EventBridge、StepFunctions、Lambda、Glue を利用した開発経験 ・S3、EC2、SG、ELB など AWS 基盤の知識 【DB】 ・テーブル定義書／Stored Procedure のレビュー経験 ・複数テーブルJOINを伴うSQL実装 ・Stored Procedure 開発経験 【開発】 ・Python 開発経験 ・PySpark を用いたデータパイプライン構築 ・Git を利用したチーム開発経験 【運用】 ・情報系システム（または類似システム）での運用経験 ・ジョブフロー設計書レビュー経験

・Python(4年~5年)での詳細設計以降の経験 ・関係者とのコミュニケーション力 ・自走力(指示待ちではなく自ら問題意識をもって取り組める方) ・AWSの経験

・Pythonによる詳細設計以降の開発経験 ・Shellスクリプト開発経験 ・関係者と円滑に調整できるコミュニケーション力 ・自走力（指示待ちではなく主体的に課題解決できる方） ・AWSの利用経験（Glue以外でも可）

・バックエンドの技術選定およびアーキテクチャ設計の実践能力 ・マイクロサービスの設計・開発・運用経験 ・大規模データ基盤、分散コンピューティング、データパイプラインの設計・開発・運用経験 ・非同期ジョブ基盤の設計・開発経験 ・ビジネス上重要な非機能要件（可用性、応答性能、セキュリティ等）の要件定義 ・Kubernetes環境での開発・運用経験 ・Dagsterを利用したデータ基盤の構築・運用経験 ・日本語での流暢なビジネスコミュニケーション能力

・Pythonを使用した分析経験 ・Python/SQLでのデータ抽出経験 ・積極的にコミュニケーション取れる方

・Databricks（分析プラットフォーム）を利用した実務経験 ・顧客との要件定義に立ち合い、必要となるサービス構成を導くことができる方 ・一人称で能動的に動ける方

・Databricks（分析プラットフォーム）を利用した実務経験 ・顧客との要件定義に立ち合い、必要となるサービス構成を導くことができる方 ・一人称で能動的に動ける方

大量データを処理するバッチシステムの設計経験

大量データを処理するバッチシステムの設計経験

大量データを処理するバッチシステムの設計経験 現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能な方

以下いずれかの組み合わせや類似スキルでの提案も応相談 ・Databricks（Apache Sparkパイプライン開発／DeltaLake構築）もしくは他ETL製品によるデータ加工 ・SAS Viya／SAS EG ・AWS（S3） ・Azure（Blob Storage） ・Google Cloud（BigQuery）

・databricksの構築経験 ・業界経験3年以上 ・インフラの知見、経験 ・一人称で対応出来る方 ・勤怠に問題無い方、自発的に動ける方

・Databricksまたは類似のクラウドデータ基盤の運用・保守経験 ・Sparkログを用いた原因調査・切り分けの経験 ・利用部門・関連部署との調整を伴う運用業務経験

Databricksを使用した経験（年数不問） ※自己学習レベルの方やSnowflake経験者も相談可能です。

・基本設計～開発、試験工程までの経験を一人称で対応可能 ・自主的に動ける方 ・Spark、Linux、RDBでの開発経験（特にシェル作り込みなどLinuxに長けていること）

セキュリティと利便性を考慮したデータプラットフォームの設計・開発・運用経験 品質や再利用性を考慮したデータパイプラインの設計・開発・運用経験 Databricks上でのデータプラットフォーム開発・運用の経験 Terraformの開発・運用の経験 AWS上での開発経験 Infrastructure as Code (IaC)の開発・運用経験