爬虫框架使用指南
选择合适的爬虫框架需要考虑以下因素：
简单静态页面爬取：BeautifulSoup、Grab 等轻量级库
复杂网站与反爬：Scrapy + 代理池、Playwright、Puppeteer
大规模分布式爬取：StormCrawler、Frontera、Nutch
无代码/低代码需求：ParseHub、Portia
特定语言项目：Colly(Go)、Crawler4j(Java)、Crawly(Elixir)
爬取数据时请遵守 robots.txt 协议和网站使用条款，合理控制请求频率，避免给目标服务器造成负担。