PySparkの案件

Databricksでのコーディングスキル（PySpark, Scala） コードのチューニング経験 Sparkクラスタの構造や処理方式ならびに各種最適化手法に関する知識・経験 大規模データを扱った経験 HadoopクラスタやSparkクラスタで数億行程度のデータを扱った経験

・ AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・ GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・ BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・ AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・ Terraform による IaC 実践（マルチクラウド or 複数環境）

AWS（EventBridge、StepFunctions、Lambda、Glue）を用いた開発経験 AWS 基盤全般の知識（S3、EC2、ELB、SG 等） Python 開発経験 PySpark を用いたデータパイプライン構築経験 複数テーブル JOIN を伴う SQL 実装経験 Stored Procedure の開発またはレビュー経験 Git を用いたチーム開発経験 情報系システム（または何らかの業務システム）の運用経験 ジョブフロー設計書のレビュー経験

AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング Terraform による IaC 実践（マルチクラウド or 複数環境）

・Pysparkのコーディングに精通していること。※1人称で自走できること ・Pysparkでパフォーマンスチューニングの経験があること

・AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・Terraform による IaC 実践（マルチクラウド or 複数環境）

・Python、Java、Javascript、RDB（Microsoft SQL Server）の設計・製造経験（※Python未経験でも意欲的に学習可能であれば可。他言語でも既存ソースから処理把握が可能であれば可） ・業務経験3年以上、ロジカルシンキング、良好なコミュニケーションで一人称で動ける方

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験

【AWS】 ・EventBridge、StepFunctions、Lambda、Glue を利用した開発経験 ・S3、EC2、SG、ELB など AWS 基盤の知識 【DB】 ・テーブル定義書／Stored Procedure のレビュー経験 ・複数テーブルJOINを伴うSQL実装 ・Stored Procedure 開発経験 【開発】 ・Python 開発経験 ・PySpark を用いたデータパイプライン構築 ・Git を利用したチーム開発経験 【運用】 ・情報系システム（または類似システム）での運用経験 ・ジョブフロー設計書レビュー経験

・システム開発経験（詳細設計以降のフェーズ） ・関係者とのコミュニケーション力/理解力 ・スケジュール管理等の自己管理能力

・スクラム開発経験 ・AWS(ECS, StepFunction, 各種リソース...)の知見 ・kubernetesの知識 ・python(pyspark, jupyter notebook...) ・Dockerfileの作成・読解経験 ・機械学習アプリケーションに関する知見 ・Githubアクションのコード作成・読解経験

【AWS】 ・EventBridge、StepFunctions、Lambda、Glue を利用した開発経験 ・S3、EC2、SG、ELB など AWS 基盤の知識 【DB】 ・テーブル定義書／Stored Procedure のレビュー経験 ・複数テーブルJOINを伴うSQL実装 ・Stored Procedure 開発経験 【開発】 ・Python 開発経験 ・PySpark を用いたデータパイプライン構築 ・Git を利用したチーム開発経験 【運用】 ・情報系システム（または類似システム）での運用経験 ・ジョブフロー設計書レビュー経験

・スクラム開発経験 ・AWS(ECS, StepFunction, 各種リソース...)の知見 ・kubernetesの知識 ・python(pyspark, jupyter notebook...) ・Dockerfileの作成・読解経験 ・機械学習アプリケーションに関する知見 ・Githubアクションのコード作成・読解経験

設計に関するプラクティスを理解し、状況に合わせて選択し適用した経験 既存の仕組みに対して主体的に問題の提起や改善策の提案を行い、設計を継続的に改善した経験 CI/CD、監視、テスト自動化などの DevOps の経験 プロダクトマネージャーなどエンジニア以外のメンバーと協議しながら要件を決定した経験 他チームまたは外部パートナーとのシステム連携の経験

・Python(4年~5年)での詳細設計以降の経験 ・関係者とのコミュニケーション力 ・自走力(指示待ちではなく自ら問題意識をもって取り組める方) ・AWSの経験

設計に関するプラクティスを理解し、状況に合わせて選択し適用した経験 既存の仕組みに対して主体的に問題の提起や改善策の提案を行い、設計を継続的に改善した経験 CI/CD、監視、テスト自動化などの DevOps の経験 プロダクトマネージャーなどエンジニア以外のメンバーと協議しながら要件を決定した経験 他チームまたは外部パートナーとのシステム連携の経験

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験

・Python(4年~5年)での詳細設計以降の経験 ・関係者とのコミュニケーション力 ・自走力(指示待ちではなく自ら問題意識をもって取り組める方) ・AWSの経験

・Pythonによる詳細設計以降の開発経験 ・Shellスクリプト開発経験 ・関係者と円滑に調整できるコミュニケーション力 ・自走力（指示待ちではなく主体的に課題解決できる方） ・AWSの利用経験（Glue以外でも可）

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験

中国語（ビジネスレベル）および日本語（日常～ビジネスレベル） Python、Shell、Spark／PySparkを用いた大規模データ処理経験 AWSデータ系サービスを用いたETLパイプラインの自走開発経験 データモデル（DWH、ディメンション、ファクト）の設計スキル

【AWS】 ・EventBridge、StepFunctions、Lambda、Glue を利用した開発経験 ・S3、EC2、SG、ELB など AWS 基盤の知識 【DB】 ・テーブル定義書／Stored Procedure のレビュー経験 ・複数テーブルJOINを伴うSQL実装 ・Stored Procedure 開発経験 【開発】 ・Python 開発経験 ・PySpark を用いたデータパイプライン構築 ・Git を利用したチーム開発経験 【運用】 ・情報系システム（または類似システム）での運用経験 ・ジョブフロー設計書レビュー経験

・AWS環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・GCPでの構築経験（特にBigQueryとIAM/ネットワーク設定） ・BigQueryを用いた分析SQL実務経験（パーティショニング/クラスタリング） ・AWS Glue（PySpark）でのETL開発・パフォーマンスチューニング ・TerraformによるIaC実践（マルチクラウド or 複数環境）

-中国語（ビジネスレベル）および日本語（日常～ビジネスレベル） -Python、Shell、Spark／PySparkを用いた大規模データ処理経験 -AWSデータ系サービスを用いたETLパイプラインの自走開発経験 -データモデル（DWH、ディメンション、ファクト）の設計スキル

【AWS】 ・EventBridge、StepFunctions、Lambda、Glue を利用した開発経験 ・S3、EC2、SG、ELB など AWS 基盤の知識 【DB】 ・テーブル定義書／Stored Procedure のレビュー経験 ・複数テーブルJOINを伴うSQL実装 ・Stored Procedure 開発経験 【開発】 ・Python 開発経験 ・PySpark を用いたデータパイプライン構築 ・Git を利用したチーム開発経験 【運用】 ・情報系システム（または類似システム）での運用経験 ・ジョブフロー設計書レビュー経験

AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング Terraform による IaC 実践（マルチクラウド or 複数環境）

・スクラム開発経験 ・AWS(ECS, StepFunction, 各種リソース...)の知見 ・kubernetesの知識 ・python(pyspark, jupyter notebook...) ・Dockerfileの作成・読解経験 ・機械学習アプリケーションに関する知見 ・Githubアクションのコード作成・読解経験

・Python(4年~5年)での詳細設計以降の経験 ・関係者とのコミュニケーション力 ・自走力(指示待ちではなく自ら問題意識をもって取り組める方) ・AWSの経験

AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング Terraform による IaC 実践（マルチクラウド or 複数環境）

スクラム開発経験 AWS(ECS, StepFunction, 各種リソース...)の知見 kubernetesの知識 python(pyspark, jupyter notebook...) Dockerfileの作成・読解経験 機械学習アプリケーションに関する知見 Githubアクションのコード作成・読解経験