Sparkの案件

Databricksでのコーディングスキル（PySpark, Scala） コードのチューニング経験 Sparkクラスタの構造や処理方式ならびに各種最適化手法に関する知識・経験 大規模データを扱った経験 HadoopクラスタやSparkクラスタで数億行程度のデータを扱った経験

・ AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・ GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・ BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・ AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・ Terraform による IaC 実践（マルチクラウド or 複数環境）

・ AWS 環境でのインフラ構築・運用経験 ・ GCP 環境でのインフラ構築経験 ・ETL開発及びパフォーマンスチューニング経験

AWS（EventBridge、StepFunctions、Lambda、Glue）を用いた開発経験 AWS 基盤全般の知識（S3、EC2、ELB、SG 等） Python 開発経験 PySpark を用いたデータパイプライン構築経験 複数テーブル JOIN を伴う SQL 実装経験 Stored Procedure の開発またはレビュー経験 Git を用いたチーム開発経験 情報系システム（または何らかの業務システム）の運用経験 ジョブフロー設計書のレビュー経験

・大規模データ基盤構築プロジェクトにおける構築実務経験（データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などのご経験 ・自主的・積極的な業務推進

大量データを処理するバッチシステムの設計経験

大量データを処理するバッチシステムの設計経験

・大規模データ基盤構築プロジェクトにおける構築実務経験（データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などのご経験 ・自主的・積極的な業務推進

・ AWS 環境でのインフラ構築・運用経験 ・ GCP 環境でのインフラ構築経験 ・ETL開発及びパフォーマンスチューニング経験

・大規模データ基盤構築プロジェクトにおける構築実務経験（データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などのご経験 ・自主的・積極的な業務推進

AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング Terraform による IaC 実践（マルチクラウド or 複数環境）

・大規模データ基盤構築プロジェクトにおける構築実務経験（データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などのご経験 ・自主的・積極的な業務推進

・大規模データ基盤構築プロジェクトにおける構築実務経験（データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などのご経験 ・自主的・積極的な業務推進

・Pysparkのコーディングに精通していること。※1人称で自走できること ・Pysparkでパフォーマンスチューニングの経験があること

AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など）、GCP での構築経験（特に BigQuery と IAM/ネットワーク設定）、BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング）、AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング、Terraform による IaC 実践（マルチクラウド or 複数環境）

・Python、Java、Javascript、RDB（Microsoft SQL Server）の設計・製造経験（※Python未経験でも意欲的に学習可能であれば可。他言語でも既存ソースから処理把握が可能であれば可） ・業務経験3年以上、ロジカルシンキング、良好なコミュニケーションで一人称で動ける方

・AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・Terraform による IaC 実践（マルチクラウド or 複数環境）

・Python、Java、Javascript、RDB（Microsoft SQL Server）の設計・製造経験（※Python未経験でも意欲的に学習可能であれば可。他言語でも既存ソースから処理把握が可能であれば可） ・業務経験3年以上、ロジカルシンキング、良好なコミュニケーションで一人称で動ける方

・Databricksまたは類似のクラウドデータ基盤の運用・保守経験 ・Sparkログを用いた原因調査・切り分けの経験 ・利用部門・関連部署との調整を伴う運用業務経験

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験

【AWS】 ・EventBridge、StepFunctions、Lambda、Glue を利用した開発経験 ・S3、EC2、SG、ELB など AWS 基盤の知識 【DB】 ・テーブル定義書／Stored Procedure のレビュー経験 ・複数テーブルJOINを伴うSQL実装 ・Stored Procedure 開発経験 【開発】 ・Python 開発経験 ・PySpark を用いたデータパイプライン構築 ・Git を利用したチーム開発経験 【運用】 ・情報系システム（または類似システム）での運用経験 ・ジョブフロー設計書レビュー経験

・システム開発経験（詳細設計以降のフェーズ） ・関係者とのコミュニケーション力/理解力 ・スケジュール管理等の自己管理能力

・スクラム開発経験 ・AWS(ECS, StepFunction, 各種リソース...)の知見 ・kubernetesの知識 ・python(pyspark, jupyter notebook...) ・Dockerfileの作成・読解経験 ・機械学習アプリケーションに関する知見 ・Githubアクションのコード作成・読解経験

【AWS】 ・EventBridge、StepFunctions、Lambda、Glue を利用した開発経験 ・S3、EC2、SG、ELB など AWS 基盤の知識 【DB】 ・テーブル定義書／Stored Procedure のレビュー経験 ・複数テーブルJOINを伴うSQL実装 ・Stored Procedure 開発経験 【開発】 ・Python 開発経験 ・PySpark を用いたデータパイプライン構築 ・Git を利用したチーム開発経験 【運用】 ・情報系システム（または類似システム）での運用経験 ・ジョブフロー設計書レビュー経験

・AWS全般の経験

・スクラム開発経験 ・AWS(ECS, StepFunction, 各種リソース...)の知見 ・kubernetesの知識 ・python(pyspark, jupyter notebook...) ・Dockerfileの作成・読解経験 ・機械学習アプリケーションに関する知見 ・Githubアクションのコード作成・読解経験

・databricksの構築経験 ・業界経験3年以上 ・インフラの知見、経験 ・一人称で対応出来る方 ・勤怠に問題無い方、自発的に動ける方

設計に関するプラクティスを理解し、状況に合わせて選択し適用した経験 既存の仕組みに対して主体的に問題の提起や改善策の提案を行い、設計を継続的に改善した経験 CI/CD、監視、テスト自動化などの DevOps の経験 プロダクトマネージャーなどエンジニア以外のメンバーと協議しながら要件を決定した経験 他チームまたは外部パートナーとのシステム連携の経験

・Python(4年~5年)での詳細設計以降の経験 ・関係者とのコミュニケーション力 ・自走力(指示待ちではなく自ら問題意識をもって取り組める方) ・AWSの経験

設計に関するプラクティスを理解し、状況に合わせて選択し適用した経験 既存の仕組みに対して主体的に問題の提起や改善策の提案を行い、設計を継続的に改善した経験 CI/CD、監視、テスト自動化などの DevOps の経験 プロダクトマネージャーなどエンジニア以外のメンバーと協議しながら要件を決定した経験 他チームまたは外部パートナーとのシステム連携の経験