【Databricks/Kubernetes】オンプレログ収集基盤開発案件

オンプレサーバ(kubernetes)のログをDatabricks on AWS側に蓄積する機能開発案件です。 Splunkに加え、Databricksでもセキュリティ分析・監視を可能にすることを目指します。 オンプレのKubernetesログデータ(2TB/日)をDatabricksのbronzeテーブルに転送し、セキュリティ分析に活用できる基盤を構築します。 スコープは、ログデータのDatabricksへの転送までとなります。 【担当フェーズ】 基本設計、詳細設計、構築、テスト、運用設計まで 【作業内容】 アーキテクチャ検討(fluentd, kafka等)、基盤パラメータ設計、顧客運用ルールに合わせた基盤構築作業、テスト実施、各種ドキュメント作成

・Linuxサーバの構築経験 ・dbt、Snowflake、Fivetran、Tableau等の知見 ・基本的なネットワーク知識(TCP/IP, ルーティングなど) ・syslog, fluentd, kafka, kubernetesに対する基本的な技術理解 ・顧客要望を受けて、顧客インフラ担当者と具体的な基盤構築要件を詰められること ・基盤設計書やパラメータシート、運用手順書等のドキュメントを作成できること

・systlog, Fluentd, Kafkaに類するシステムログ転送処理の機能設計/開発に関する経験 ・非機能要件を考慮した基盤設計の知見(2TB/日のデータ転送に耐えうる性能設計および耐障害設計) ・AWSのネットワーク知見(AWS Direct Connect, AWS Transit Gateway, AWS VPCなど) ・Databricks on AWSに関する知見

通信

オンプレサーバ(kubernetes)のログをDatabricks on AWS側に蓄積する機能開発案件です。 Splunkだけでなく、Databricksでもセキュリティ分析/監視をできるようにしたいという目的のため、データ送信基盤の提案から構築までを担当していただきます。

Kubernetes, Databricks on AWS, Fluentd, Kafka

140時間〜180時間

2026/12

2~3名

想定稼働時間：140-180時間/月

フルリモート

2回

オンライン

あり

あり

2026/11/10 16:05:49