Apache Nutch

分布式爬虫框架有ScrapyRedis、Celery和Dpark等。ScrapyRedis是基于Redis的轻量级分布式爬虫，支持多台机器同时运行；Celery是一个异步任务队列框架，可以用于实现分布式爬虫；Dpark是一个基于Spark的分布式爬虫框架，具有高效性和可扩展性。