Spark×リモートワーク・在宅可の案件

-SQLによるデータ抽出、集計の実務経験 (3年以上) -PythonもしくはNode.jsのプログラミング経験（2年以上） -クラウド環境 (AWS, GCP, Azure)でのデータ基盤構築、運用経験 (1年以上) -データパイプライン構築、運用経験 (Airflow, Spark, Flinkなど) -データ品質に関する知識、データガバナンスに関する知識 -バージョン管理ツール (Gitなど) の利用経験 -アジャイル開発の経験

・アプリケーション開発経験 3年以上 ・Goの開発経験2年以上 ・顧客視点のコミュニケーションができる方

・使用言語：Python

1人称で目的整理～分析設計～実分析～報告対応。 可視化、統計、機械学習、生成AIの各種対応。 お客様内の生成AI環境（非SE／DSが使える環境、chat/RAG簡易GUIベース）で要件実現できること。

・機械学習モデルを用いたモデル開発、及びMLOpsの経験 ・勾配ブースティングモデル（LightGBM, XGBoostなど）の深い理解 ・Pythonを用いた開発経験　5年以上 ・LLM（生成系AI）を用いたモデル開発経験 ・AWSをはじめとしたパブリッククラウドサービスでの開発経験

・Pythonを用いたデータ処理（Flask, Pandas, NumPy, Daskなど）の実務経験3年以上

・Rails（ruby）の開発経験2年以上

・アーキテクトの立場でのAzureサービスを組み合わせた要件定義、設計、構築経験 ・AzureでのDWHの構築経験 ・Azure全般（Functions, Synapse Analytics, Data Factory, Key Vault）

Glue, Redshift, SQL, データウェアハウス設計・開発経験

・Splunkの利用経験（ELKでも可） ・SQL等でのDB操作経験 ・shellなどでのスクリプト作成経験 ・LinuxベースOS上でのコマンドベースでの業務経験

・インフラエンジニアとしての経験豊富な方 - Azure - WindowsSever - Network - VMware

hadoop, trino, spark のいずれかの開発経験

データエンジニアリングまたはアナリティクスエンジニアリング経験5年以上 SQLおよびPythonを用いたデータパイプライン開発経験（Databricks／Spark／dbt等） AWS環境でのデータ基盤構築・運用経験およびGit／CI/CDの実務経験 Databricks上でのデータパイプライン設計・実装 Sparkなどのデータ処理フレームワークの実務経験

Databricksの運用、保守経験 クラウド(Azure)の運用、保守経験 DWH、ETLシステムの運用、保守経験 ジョブ管理ツール(System Walker Operation Manager)の運用、保守経験

データエンジニアリングまたはアナリティクスエンジニアリングの実務経験（5年以上） SQLおよびPythonを用いたデータパイプライン開発経験 Databricks、Spark、dbtなどのデータ基盤関連技術の実務経験 AWS環境でのデータ基盤構築または運用経験 GitおよびCI/CDを用いた開発経験 設計や技術判断を主体的に推進できる方

AWS 基盤(EC2/ALB/Aurora/PostgreSQL/S3/Glue/CloudWatch)の構築 Aurora PostgreSQL のスキーマ/テーブル設計の理解 Glue(PySpark/Python)による ETL(抽出/変換/CSV/日次/失敗検知/リトライ/ログ連携) Okta 連携 SSO/ユーザ ID 自動連携、MasterInfinity の権限/運用

Python開発経験 ※1-2年以上 製造以降一人称で対応可能な方 AWS経験

Snowflakeを用いたDWH開発・運用経験 SQLおよびPython（PySpark）によるデータ処理実装経験 Azure環境でのデータ基盤開発経験

Pythonによる詳細設計以降の開発経験（3年以上） AWS環境での開発／利用経験 関係者と円滑に調整できるコミュニケーション力 自走して課題解決に取り組めること

・SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験がある方 ・データパイプライン構築・運用経験がある方 ・テスティングフレームワークを用いたユニットテストの経験がある方（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験がある方 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力がある方

・Javaでの開発経験 5年以上 ・AWS上での開発経験がある方 ・設計業務から一人称で対応可能な方

・SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験がある方 ・データパイプライン構築・運用経験がある方 ・テスティングフレームワークを用いたユニットテストの経験がある方（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験がある方 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力がある方

SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験 データパイプライン構築・運用経験 Git等のバージョン管理システムの使用経験 テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） 要件定義、基本設計、詳細設計、テスト設計の経験 プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

-PythonまたはPySparkでの開発経験3年以上 -詳細設計経験および -アジャイルでの開発経験 -自発的な行動と円滑なコミュニケーション能力

・SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験 ・データパイプライン構築・運用経験 ・Git等のバージョン管理システムの使用経験 ・テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） ・要件定義、基本設計、詳細設計、テスト設計の経験 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

PythonまたはPySparkでの開発経験3年以上 詳細設計経験 アジャイルでの開発経験 自発的な行動と円滑なコミュニケーション能力

SQL、Python、Spark（その他、Hadoop、Apache Kafka、Mesosなど分散処理基盤の構築）によるデータ処理の経験 データパイプライン構築・運用経験 Git等のバージョン管理システムの使用経験 テスティングフレームワークを用いたユニットテストの経験（テストコード作成を含む） 要件定義、基本設計、詳細設計、テスト設計の経験 プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

・AWSを用いた開発経験 （EventBridge、StepFunctions、Lambda、Glue） ・AWS基盤全般の知識 （S3、EC2、SG、ELB 等） ・Tableau Prepを用いたデータ加工、前処理の実務経験 ・Tableau Serverの環境設定、運用経験 ・テーブル定義書、Stored Procedure、IF定義書のレビュー経験 ・複数テーブルJOINを伴うSQL実装経験 ・Stored Procedureの開発経験 ・Python開発経験 ・PySparkを用いたデータパイプライン構築経験 ・Gitを利用したチーム開発経験 ・情報系システム、または何らかのシステム運用経験 ・ジョブフロー設計書のレビュー経験

-PythonまたはPySparkでの開発経験3年以上 -詳細設計経験および -アジャイルでの開発経験 -自発的な行動と円滑なコミュニケーション能力

・Pythonを用いた開発実務経験（3年以上） ・SQLを用いた高度なデータ集計の実装経験 ・大規模データへの興味・関心