Sparkの案件

・SQL（ストアドプロシージャ等）の設計経験、 ・IT業界経験3年以上

・5年以上のエンジニア経験（一人称でのSEレベル） ・Javaによる開発経験（Strutsを利用したWebアプリケーション開発経験） ・Webフレームワークを利用したWebアプリケーション開発経験 ・C,C++等の開発言語が読める方 ・ MySQLの一般知識 ・自発的にコミュニケーションを行える方

・データ分析、機械学習の基礎理解がある方 ・回帰モデルの検討と構築経験 ・python ・TensorFlow、PyTorch または Scikit-Learnの利用経験 ・納期を守り自律的にリモートワークで業務を行える方

・SQL（ストアドプロシージャ等）の設計経験、 ・IT業界経験3年以上

・SQL（ストアドプロシージャ等）の設計経験、 ・IT業界経験3年以上

・使用言語：Python

1人称で目的整理～分析設計～実分析～報告対応。 可視化、統計、機械学習、生成AIの各種対応。 お客様内の生成AI環境（非SE／DSが使える環境、chat/RAG簡易GUIベース）で要件実現できること。

1人称で目的整理～分析設計～実分析～報告対応が必要。 可視化、統計、機械学習、生成AI、各種対応できること 生成AIは具体的な案件未定なので感触レベル お客様内の生成AI環境（非SE／DSが使える環境、chat/RAG簡易GUIベース）で要件実現できること、は必須

・機械学習モデルを用いたモデル開発、及びMLOpsの経験 ・勾配ブースティングモデル（LightGBM, XGBoostなど）の深い理解 ・Pythonを用いた開発経験　5年以上 ・LLM（生成系AI）を用いたモデル開発経験 ・AWSをはじめとしたパブリッククラウドサービスでの開発経験

・Pythonを用いたデータ処理（Flask, Pandas, NumPy, Daskなど）の実務経験3年以上

・アーキテクトの立場でのAzureサービスを組み合わせた要件定義、設計、構築経験 ・AzureでのDWHの構築経験 ・Azure全般（Functions, Synapse Analytics, Data Factory, Key Vault）

・Splunkの利用経験（ELKでも可） ・SQL等でのDB操作経験 ・shellなどでのスクリプト作成経験 ・LinuxベースOS上でのコマンドベースでの業務経験

・インフラエンジニアとしての経験豊富な方 - Azure - WindowsSever - Network - VMware

以下いずれかの組み合わせや類似スキルでの提案も応相談 ・Databricks（Apache Sparkパイプライン開発／DeltaLake構築）もしくは他ETL製品によるデータ加工 ・SAS Viya／SAS EG ・AWS（S3） ・Azure（Blob Storage） ・Google Cloud（BigQuery）

・一人称で能動的に動ける方 ・顧客との要件定義に立ち合い、必要となるサービス構成を導くことができる方 ・下記、経験／スキル要件をお持ちであること（一部の経験が無くても独力でキャッチアップできる方） ①BIツール ②データレイク（レイクハウス）構築 ③データパイプラインの設計・運用 ④システム構成図・アーキテクチャ図の設計 ⑤Terraform、ApacheSparkの利用 ⑥AWSサービス（S3,Athena,Glue,QuickSight,Lake Formation）

・AWS Glue（VisualETL） or PySparkの経験 ※上記、どちらか一方でも可 ・RDBMSの経験 ・Python ・SQL ・Amazon Redshift ・Amazon S3 ・Power BI

・一人称で能動的に動ける方 ・顧客との要件定義に立ち合い、必要となるサービス構成を導くことができる方 ・下記、経験／スキル要件をお持ちであること（一部の経験が無くても独力でキャッチアップできる方） ①BIツール ②データレイク（レイクハウス）構築 ③データパイプラインの設計・運用 ④システム構成図・アーキテクチャ図の設計 ⑤Terraform、ApacheSparkの利用 ⑥AWSサービス（S3,Athena,Glue,QuickSight,Lake Formation）

・AWS Glue（VisualETL） or PySparkの経験がある方 ※上記、どちらか一方でも可 ・RDBMSの経験

PythonやSQLを用いたデータ操作、変換、加工、自動化ツール作成の経験 エンド側とコミュニケーションを取りつつ、柔軟に諸事対応できること 大規模データを用いた開発経験

・AWS等のクラウドサービスを用いたインフラ設計・構築・運用経験(※5年程度) ・サブリーダー的な立ち位置の経験、またはAWS設計構築のエキスパート ・汎用プログラミング言語での開発経験(Python,node,Java,Goなど)

- PythonやSQLを用いたデータ操作、変換、加工、自動化ツール作成の経験 - エンド側とコミュニケーションを取りつつ、柔軟に諸事対応できること ・大規模データを用いた開発経験

・AWS等のクラウドサービスを用いたインフラ設計・構築・運用経験(※5年程度) ・サブリーダー的な立ち位置の経験、またはAWS設計構築のエキスパート ・汎用プログラミング言語での開発経験(Python,node,Java,Goなど)

・クラウド環境の開発・保守経験 SQL:読み書き出来る Python:開発経験あり Git:経験あり

・AWS等のクラウドサービスを用いたインフラ設計・構築・運用経験（※5年程度） ・サブリーダー的な立ち位置の経験、またはAWS設計構築のエキスパート ・汎用プログラミング言語での開発経験（Python,node,Java,Goなど）

Databricksを使用した経験（年数不問） ※自己学習レベルの方やSnowflake経験者も相談可能です。

PythonやSQLを用いたデータ操作、変換、加工、自動化ツール作成の経験 エンド側とコミュニケーションを取りつつ、柔軟に諸事対応できること

・基本設計～開発、試験工程までの経験を一人称で対応可能 ・自主的に動ける方 ・Spark、Linux、RDBでの開発経験（特にシェル作り込みなどLinuxに長けていること）

・Pythonを用いた開発経験10年以上 ・5名程度の開発チームのリーダー経験 ・開発フレームワーク/ツール/プロセスの選定と制定 ・Data Pipeline構築経験(ETL開発経験) ・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解 ・DWHやETL等のビッグデータ実装への理解 ・Pytest等を使ってテストコード実装したことがある人(知識がある人) ・AWS上でのシステム開発経験(AWSの環境をいじったことがある) ・サーバレスのWF(ワークフロー)開発の経験 ・Airflow・DAGの開発経験もしくは概念の理解

・Pythonを使用した分析経験 ・積極的にコミュニケーション取れる方 ・顧客との要件定義経験、設計経験

Python実務経験3年以上目安 データマート構築に関する経験/知見 分析レポートの作成及びレポーティングの実務経験 分析要件定義経験 コミュニケーション能力