#crawl

AnyCrawl 是 any4ai 开发的高性能抓取和数据提取工具包，专为 AI 生态系统设计。它支持多种爬取任务，包括多搜索引擎的 SERP 结果抓取、单页内容提取和全站遍历。该工具利用多线程和多进程实现高性能，并能处理批量任务。其独特之处在于支持基于大型语言模型 (LLM) 的结构化数据（JSON）提取，使其对 AI 应用非常友好，并且易于集成和使用，可通过 API 调用或自部署方式运行。AnyCrawl 还提供了多种渲染引擎（如 Cheerio、Playwright、Puppeteer）和缓存控制。