Python爬虫入门教程，Python Scrapy爬虫框架详解

Scrapy 是 Python 领域专业的爬虫开发框架，已经完成爬虫程序的大部分通用工具，因此 Scrapy 开发爬虫项目既简单又方便。

本章将详细介绍使用 Scrapy 开发爬虫程序的方法和步骤。除此之外，还将介绍反爬虫网站的一系列应对方法，例如通过自定义下载中间件来随机改变 Scrapy 爬虫项目的IP地址等。

本章最后将使用 Scrapy 整合 Selenium 来实现自动化登陆，此方式可以让爬虫框架突破网页登陆的额限制，爬取那些受保护的信息，值得读者认真掌握。