crawlee

介绍

Crawlee是一个由Apify开发的网络抓取和浏览器自动化库，旨在帮助开发者快速构建可靠的爬虫。它能够模拟人类浏览行为，有效规避现代反爬机制。该库提供统一的接口来支持HTTP和无头浏览器（如Playwright、Puppeteer）抓取，并具备持久化请求队列、可插拔的数据存储、自动代理轮换和会话管理等核心功能，同时支持CLI工具进行项目快速启动，并可轻松部署至云平台。

功能特征

• HTTP与无头浏览器统一抓取接口
• 持久化请求队列与可插拔数据存储
• 集成代理轮换和会话管理
• CLI工具快速启动与可定制生命周期钩子
• 支持Playwright和Puppeteer进行浏览器自动化

支持平台