Sparkの案件

〈リーダー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・リーダー経験が1年以上ある方。 ・基本設計からのご経験がある方。 〈メンバー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・詳細設計からのご経験がある方。

・Pythonを用いた開発経験１０年以上 ・DWHやETL等のビッグデータ実装への理解 ・Sparkの使用経験 ・Kinesisの使用経験 ・5名程度の開発チームのリーダー経験 ・開発フレームワーク／ツール／プロセスの選定と制定 ・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解 ・Pandasライブラリを用いた開発経験 ・Data Pipeline構築経験（ETL開発経験） ・AWS上でのシステム開発経験 ・Lambdaなどのサーバーレス開発経験 ・RDBを用いたシステム開発の経験 ・OSSを活用したシステム開発経験（Kafka, MySQL, MongoDB…） ・AWSのマネージドサービス利用経験（Redshift,SMS/SQS,RDS） ・アジャイルでのシステム開発経験 ・JIRA/Confulence相当を利用した開発経験

・データ加工処理に関連するマイグレーションのご経験 ※移行方式設計のご経験、クラウドシフトのご経験等、実際の移行作業ではなく移行計画/移行方式設計のできる方 ・データ加工処理基盤構築のための要求整理/要件定義のご経験 ・Apache Sparkを用いたデータ加工処理のご経験 ・Databricks、Snowflake（Snowpark）、AWS（Glue,EMR）の内のいずれかのご経験

＜求められる経験（以下のいずれか）＞ ・インフラ（クラウド、ネットワーク、サーバ、ソフトウェア）の構築または運用の経験 ・プロジェクト管理経験（進捗管理、課題管理等）

・ネットワーク運用保守（3年以上） ・ログ調査、不具合調査の経験 ・運用設計などマニュアル作成経験

AWSのデータ関連サービス（Amazon S3, EMR, DynamoDB）の経験 Pythonを用いたデータ処理の実務経験

・要件定義のご経験（ユーザーと折衝をして、その要件を基本設計書に落とし込めるレベル） ・エンドユーザと直接折衝をされた経験 ・Windowsサーバー、またはネットワークの設計構築の経験に長けた方

・NW構築、設計経験 ・Ansible経験

AWSのデータ関連サービス（Amazon S3, EMR, DynamoDB）の経験 Pythonを用いたデータ処理の実務経験

・情シス経験4年以上 （ヘルプデスクで経験の長い方などもエントリー可能です） ・チームの取りまとめやリードできる方 ・勤怠、コミュニケーション能力問題ない方

・Python/SQL/のご経験 ・1人称にてタスク遂行ができる方

・大量のトランザクションデータを使って顧客の行動予測した経験 ・機械学習モデルの学習、評価、デプロイ経験 ・大量データのパイプラインをDatabricks上で、設計・実装経験