業務委託
東京都 神谷町駅
~ 750,000円/月額
オンプレサーバ(Kubernetes)のログをDatabricks on AWS側に蓄積する機能開発案件です。 オンプレのコンテナ基盤ログ(Kubernetesログ)をDatabricksに収集して、Splunk相当以上のセキュリティ分析に使えるようにします。 オンプレKubernetesログをDatabricks bronzeテーブルに格納します。 オンプレのKubernetesのログデータ(2TB/日)を、Databricksのbronzeテーブルに転送します。 bronzeテーブルは、KubernetesログデータのCSVをそのままSTRING型で格納します。 Databricks on AWSの構築だけでなく、オンプレサーバのデータ送信基盤の提案までを担当します。 【担当フェーズ】 ・基本設計、詳細設計、構築、テスト、運用設計まで 【作業内容】 ・アーキテクチャ検討(Fluentd、Kafka等) ・基盤パラメータ設計 ・顧客運用ルールに合わせた基盤構築作業 ・テスト実施(テストケース設計、テスト準備と実施) ・各種ドキュメント作成 【アウトプット】 ・業務要件定義書、基本・詳細設計書、テスト計画・結果、運用設計書などをチームメンバーと協力して作成します。
Linuxサーバの構築経験があること 基本的なネットワーク知識があること(TCP/IP、ルーティングなど) syslog、fluentd、kafka、kubernetesに対する基本的な技術理解があること 顧客要望を受けて、顧客インフラ担当者と具体的な基盤構築要件を詰められること 基盤設計書やパラメータシート、運用手順書等のドキュメントを作成できること
dbt、Snowflake、Fivetran、Tableau等の知見 syslog、Fluentd、Kafkaに類するシステムログ転送処理の機能設計・開発に関する経験があること 非機能要件を考慮した基盤設計の知見があること(2TB/日のデータ転送に耐えうる性能設計および耐障害設計) AWSのネットワーク知見(AWS Direct Connect、AWS Transit Gateway、AWS VPCなど) Databricks on AWSに関する知見
WEBサービス
オンプレサーバのデータ送信基盤の提案までを担当します。
Fluentd、Kafka
140時間〜180時間
2026/12
フルリモート
1回
オンライン
あり
2026/11/20 16:40:26
オンプレミス環境におけるデータ収集・分析基盤の構築は、セキュリティ強化と迅速な意思決定のために不可欠です。 本案件では、KubernetesログをDatabricksに集約し、高度な分析を可能にすることで、セキュリティ監視体制の強化とデータに基づいた意思決定を支援します。 最新のクラウド技術とオンプレミス環境の連携により、データ活用の可能性を広げる重要なプロジェクトです。
関連するスキル・ポジションから、リモート可の案件を探してみましょう!


フリーランスエンジニア向けIT案件・求人検索サイト【フリーランスジョブ】
株式会社Hajimari 東京都渋谷区道玄坂一丁目16番10号渋谷DTビル9F
©︎ Hajimari Inc. All Rights Reserved
※1 2026年10月21日 自社調べ。Googleで「AI 案件」と検索した際に上位に表示された、案件を掲載するフリーランス・副業向けサイト21サイトの募集中のAI案件数を比較。AI案件とは、生成AI・AIエンジニア・機械学習エンジニア・AIエージェント・LLMエンジニア・AIコンサルタントなど、開発からコンサルティングまでAIに関わる案件のこと