Scrapling

介绍

Scrapling 是一个自适应的网页抓取框架，专为现代网络数据提取设计，能够处理从单个请求到大规模抓取的所有任务。其解析器具备学习能力，可适应网站布局变化并自动重新定位元素。Scrapling 的抓取器能够直接绕过 Cloudflare Turnstile 等常见的反爬虫系统。它还提供一个强大的爬虫框架，支持并发、多会话抓取，并具备暂停/恢复和自动化代理轮换功能，所有这些仅需少量 Python 代码即可实现。该框架注重高性能，提供实时统计和数据流功能，旨在为专业爬虫开发者和普通用户提供全面且高效的解决方案。

功能特征

• 自适应解析器，应对网站结构变化
• 内置反爬虫系统（如Cloudflare Turnstile）绕过能力
• 支持并发、多会话爬虫框架
• 自动化代理轮换与会话管理
• 命令行界面 (CLI) 及 OpenClaw AI Agent 集成

支持平台