業務委託
~ 680,000円/月額※平均単価を表示 実際はスキルによります
※平均単価を表示 実際はスキルによります複雑なWebサイトからのデータ抽出、収集、正規化 大規模なクローラーシステムの設計、開発、運用、パフォーマンス改善 アンチボット対策(CAPTCHA、レート制限、ブロックなど)の回避技術の実装 各種プロキシサービスを利用した効率的で安定したクローリングの実現 クラウドサービスを利用したクローリング基盤の構築とデプロイ
Pythonを用いたWebクローラー開発の豊富な実務経験(必須) Scrapyを使用した大規模クローリングシステムの開発経験 SeleniumまたはPlaywrightを用いたブラウザ自動操作・スクレイピングの実務経験 IPプロキシサービス(ScraperAPI, Zyte, BrightData, Oxylabs, ZenRows, Firecrawlなど)の利用経験と深い知見 Webクローラーに関する高度な知識と、アンチボット対策を突破する技術への精通
JavaScriptの読み書きに関する基本的な理解 GCP(Google Cloud Platform)を利用したインフラ構築・運用経験 ‐特にCloud Run、BigQuery、Firestoreの利用経験があれば尚可 AWS、Azureなどの他クラウドプラットフォームの利用経験
WEBサービス
増員
バック言語:python(必須), Javascript フレームワーク:Scrapy ブラウザ操作:Selenium, PlayWright IPプロキシ利用経験:ScraperAPI, Zyte, BrightData,ScrapingDog, Oxylabs, ZenRows, Firecrawl等 フロント言語:不要 クラウド:GCP(理想), AWS, Azure GCPサービス:Cloud Run, BigQuery, Firestore
フレックス(平日日中のMTGやレスポンス有り)
フルリモート
1回
オンライン
なし
2025/10/28 16:55:32
Webクローラーは、インターネット上の膨大な情報を効率的に収集し、分析するための基盤技術として、様々な分野でその重要性を増しています。 本案件では、最先端のWebスクレイピング技術を駆使し、データ収集基盤の構築・改善をリードすることで、企業のデータドリブンな意思決定を支援します。 高度なWebスクレイピング技術を駆使し、データ収集基盤の構築・改善をリードしていただける方を求めています。
業務委託
690,000 ~ 900,000円/月額
フリーランスエンジニア向けIT案件・求人検索サイト【フリーランスジョブ】
©︎ Hajimari Inc. All Rights Reserved