本文目录一览：

• 1、如何优雅地使用python采集阿里巴巴百万商户信息
• 2、如何自学Python爬虫技术，花式赚钱
• 3、Selenium
• 4、python网络爬虫可以干啥
• 5、都说软件测试是一个高薪职业，但是每个培训机构都有网友说是人的。

如何优雅地使用python采集阿里巴巴百万商户信息

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。

包含selenium赚钱项目的词条

包含selenium赚钱项目的词条

但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。

零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。

用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：

网络爬虫基础知识:

爬虫的定义

爬虫的作用

Http协议

基本抓包工具(Fiddler)使用

Python模块实现爬虫：

lib3、requests、lxml、bs4 模块大体作用讲解

使用requests模块 get 方式获取静态页面数据

使用requests模块 t 方式获取静态页面数据

使用requests模块获取 ajax 动态页面数据

使用requests模块模拟登录网站

使用Tesseract进行识别

Scrapy框架与Scrapy-Redis：

Scrapy 爬虫框架大体说明

Scrapy spider 类

Scrapy 及 pipeline

Scrapy CrawlSpider 类

通过Scrapy-Redis 实现分布式爬虫

借助自动化测试工具和浏览器爬取数据：

Selenium + PhantomJS 说明及简单实例

Selenium + PhantomJS 实现网站登录

Selenium + PhantomJS 实现动态页面数据爬取

爬虫项目实战：

分布式爬虫+ Elasticsearch 打造搜索引擎

Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。爬虫就是自动遍历一个网站的网页，并把内容都下载下来

网络爬虫另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

（1） 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎资源与无限的网络数据资源之间的矛盾将进一步加深。

（3）万维网数据形式的丰富和网络技术的不断发展，、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫（general？pure web crawler）不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

我们用户上网是通过 Web 浏览器经过 Internet 访问各个站点的 Web 应用的。浏览器和 Web 之间是通过 Http 协议进行交互的。对测试人员来说，根据模拟的对象，常见的 Web 应用的自动化测试有两种方式。

这种方式，测试程序模拟用户作浏览器（比如chrome、火狐等），进行对整个web应用进行测试，如下图所示

这种测试常见于功能测试工具，我们要讲的 Selenium ，就是典型代表。

Selenium 开头这样写着：Selenium可以（用程序控制）自动化浏览器。这是它的能力。至于你怎么用这种能力，用到什么程度，完全看你了。你可以只把他用在自动化测试方面，也可以用在日常的 web 作上，比如 100 个新员工注册公司内部平台账号，又比如在 12306 网抢票。当今世界， web 应用非常广泛。而 web 应用的客户端就是浏览器，也是驱动 web 应用的最源头，所以，驱动了浏览器，就基本驱动、控制整个 web 应用。而 Selenium 就是为了从浏览器端自动化 web 应用，量身定做的开源项目。可以这么说，目前它已经是这个领域最广泛使用的开元工具了。 web 测试自动化是很多公司控制成本，提高效率的急迫需求。所以我们打开类网站，对测试人员（尤其是测试开发）的说明中经常把 Selenium 技能作为一项重要的加分项目。 Selenium 目前已经获得主流 web 浏览器（比如 Chrome、Firefox、Safari、Opera、Edge ）的的驱动支持，自动化能力强，效率高。

Selenium 是一个工具包，里面有好几种工具用作不同 web 自动化用途。主要有下面这样常用的工具

Selenium RC 就是 Selenium 1 ，它是 Selenium 2 和 3 之前的版本。现在也仍然在维护中。和 Selenium 2 、3 使用 Web Driver 的方式不同， Selenium1 主要依靠的是 Remote 将 Selenium Core（Selenium 命令解释器） 注入到浏览器，通过 JaScript 实现 Web 自动化。下面是其原理示意图

Selenium Web Driver 提供了 web 自动化的各种语言 （ja，python，ruby等等） 调用接口库和各种浏览器的驱动（ Web driver ）。这是课程的重点，后面会详细讲解。下面是其原理的示意图

目前有两个版本 Selenium 2 和 Selenium 3 。 Selenium WebDriver 几乎支持目前所有的浏览器。

学视频剪辑！理由很简单，容易学（不像其它行业学习成本高，难度大），适合短期3-4个月短期学习，而且行业缺口非常大，无论是找工作还是自己在家里接私单，月收入万，两三万也是稀松平常。

Sublime是一款轻量文本编辑工具，可以用来快速编写python脚本，这里就不多作介绍，详情自己百度。本期所需的工具包是selenium，用户需要自行安装，可以通过pip命令快速安装selenium，如下：

如何自学Python爬虫技术，花式赚钱

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。

但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。

零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。

用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：

网络爬虫基础知识:

爬虫的定义

爬虫的作用

Http协议

基本抓包工具(Fiddler)使用

Python模块实现爬虫：

lib3、requests、lxml、bs4 模块大体作用讲解

使用requests模块 get 方式获取静态页面数据

使用requests模块 t 方式获取静态页面数据

使用requests模块获取 ajax 动态页面数据

使用requests模块模拟登录网站

使用Tesseract进行识别

Scrapy框架与Scrapy-Redis：

Scrapy 爬虫框架大体说明

Scrapy spider 类

Scrapy 及 pipeline

Scrapy CrawlSpider 类

通过Scrapy-Redis 实现分布式爬虫

借助自动化测试工具和浏览器爬取数据：

Selenium + PhantomJS 说明及简单实例

Selenium + PhantomJS 实现网站登录

Selenium + PhantomJS 实现动态页面数据爬取

爬虫项目实战：

分布式爬虫+ Elasticsearch 打造搜索引擎

Selenium

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。

但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。

零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。

用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：

网络爬虫基础知识:

爬虫的定义

爬虫的作用

Http协议

基本抓包工具(Fiddler)使用

Python模块实现爬虫：

lib3、requests、lxml、bs4 模块大体作用讲解

使用requests模块 get 方式获取静态页面数据

使用requests模块 t 方式获取静态页面数据

使用requests模块获取 ajax 动态页面数据

使用requests模块模拟登录网站

使用Tesseract进行识别

Scrapy框架与Scrapy-Redis：

Scrapy 爬虫框架大体说明

Scrapy spider 类

Scrapy 及 pipeline

Scrapy CrawlSpider 类

通过Scrapy-Redis 实现分布式爬虫

借助自动化测试工具和浏览器爬取数据：

Selenium + PhantomJS 说明及简单实例

Selenium + PhantomJS 实现网站登录

Selenium + PhantomJS 实现动态页面数据爬取

爬虫项目实战：

分布式爬虫+ Elasticsearch 打造搜索引擎

Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。爬虫就是自动遍历一个网站的网页，并把内容都下载下来

网络爬虫另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

（1） 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎资源与无限的网络数据资源之间的矛盾将进一步加深。

（3）万维网数据形式的丰富和网络技术的不断发展，、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫（general？pure web crawler）不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

我们用户上网是通过 Web 浏览器经过 Internet 访问各个站点的 Web 应用的。浏览器和 Web 之间是通过 Http 协议进行交互的。对测试人员来说，根据模拟的对象，常见的 Web 应用的自动化测试有两种方式。

这种方式，测试程序模拟用户作浏览器（比如chrome、火狐等），进行对整个web应用进行测试，如下图所示

这种测试常见于功能测试工具，我们要讲的 Selenium ，就是典型代表。

Selenium 开头这样写着：Selenium可以（用程序控制）自动化浏览器。这是它的能力。至于你怎么用这种能力，用到什么程度，完全看你了。你可以只把他用在自动化测试方面，也可以用在日常的 web 作上，比如 100 个新员工注册公司内部平台账号，又比如在 12306 网抢票。当今世界， web 应用非常广泛。而 web 应用的客户端就是浏览器，也是驱动 web 应用的最源头，所以，驱动了浏览器，就基本驱动、控制整个 web 应用。而 Selenium 就是为了从浏览器端自动化 web 应用，量身定做的开源项目。可以这么说，目前它已经是这个领域最广泛使用的开元工具了。 web 测试自动化是很多公司控制成本，提高效率的急迫需求。所以我们打开类网站，对测试人员（尤其是测试开发）的说明中经常把 Selenium 技能作为一项重要的加分项目。 Selenium 目前已经获得主流 web 浏览器（比如 Chrome、Firefox、Safari、Opera、Edge ）的的驱动支持，自动化能力强，效率高。

Selenium 是一个工具包，里面有好几种工具用作不同 web 自动化用途。主要有下面这样常用的工具

Selenium RC 就是 Selenium 1 ，它是 Selenium 2 和 3 之前的版本。现在也仍然在维护中。和 Selenium 2 、3 使用 Web Driver 的方式不同， Selenium1 主要依靠的是 Remote 将 Selenium Core（Selenium 命令解释器） 注入到浏览器，通过 JaScript 实现 Web 自动化。下面是其原理示意图

Selenium Web Driver 提供了 web 自动化的各种语言 （ja，python，ruby等等） 调用接口库和各种浏览器的驱动（ Web driver ）。这是课程的重点，后面会详细讲解。下面是其原理的示意图

目前有两个版本 Selenium 2 和 Selenium 3 。 Selenium WebDriver 几乎支持目前所有的浏览器。

python网络爬虫可以干啥

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。

但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。

零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。

用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：

网络爬虫基础知识:

爬虫的定义

爬虫的作用

Http协议

基本抓包工具(Fiddler)使用

Python模块实现爬虫：

lib3、requests、lxml、bs4 模块大体作用讲解

使用requests模块 get 方式获取静态页面数据

使用requests模块 t 方式获取静态页面数据

使用requests模块获取 ajax 动态页面数据

使用requests模块模拟登录网站

使用Tesseract进行识别

Scrapy框架与Scrapy-Redis：

Scrapy 爬虫框架大体说明

Scrapy spider 类

Scrapy 及 pipeline

Scrapy CrawlSpider 类

通过Scrapy-Redis 实现分布式爬虫

借助自动化测试工具和浏览器爬取数据：

Selenium + PhantomJS 说明及简单实例

Selenium + PhantomJS 实现网站登录

Selenium + PhantomJS 实现动态页面数据爬取

爬虫项目实战：

分布式爬虫+ Elasticsearch 打造搜索引擎

Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。爬虫就是自动遍历一个网站的网页，并把内容都下载下来

网络爬虫另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

（1） 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎资源与无限的网络数据资源之间的矛盾将进一步加深。

（3）万维网数据形式的丰富和网络技术的不断发展，、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫（general？pure web crawler）不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

都说软件测试是一个高薪职业，但是每个培训机构都有网友说是人的。

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。

但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。

零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。

用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：

网络爬虫基础知识:

爬虫的定义

爬虫的作用

Http协议

基本抓包工具(Fiddler)使用

Python模块实现爬虫：

lib3、requests、lxml、bs4 模块大体作用讲解

使用requests模块 get 方式获取静态页面数据

使用requests模块 t 方式获取静态页面数据

使用requests模块获取 ajax 动态页面数据

使用requests模块模拟登录网站

使用Tesseract进行识别

Scrapy框架与Scrapy-Redis：

Scrapy 爬虫框架大体说明

Scrapy spider 类

Scrapy 及 pipeline

Scrapy CrawlSpider 类

通过Scrapy-Redis 实现分布式爬虫

借助自动化测试工具和浏览器爬取数据：

Selenium + PhantomJS 说明及简单实例

Selenium + PhantomJS 实现网站登录

Selenium + PhantomJS 实现动态页面数据爬取

爬虫项目实战：

分布式爬虫+ Elasticsearch 打造搜索引擎

Python爬虫开发工程师,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。爬虫就是自动遍历一个网站的网页，并把内容都下载下来

网络爬虫另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎（Search Engine），例如传统的通用搜索引擎AltaVista，Yahoo！和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

（1） 不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎资源与无限的网络数据资源之间的矛盾将进一步加深。

（3）万维网数据形式的丰富和网络技术的不断发展，、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫（general？pure web crawler）不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

我们用户上网是通过 Web 浏览器经过 Internet 访问各个站点的 Web 应用的。浏览器和 Web 之间是通过 Http 协议进行交互的。对测试人员来说，根据模拟的对象，常见的 Web 应用的自动化测试有两种方式。

这种方式，测试程序模拟用户作浏览器（比如chrome、火狐等），进行对整个web应用进行测试，如下图所示

这种测试常见于功能测试工具，我们要讲的 Selenium ，就是典型代表。

Selenium 开头这样写着：Selenium可以（用程序控制）自动化浏览器。这是它的能力。至于你怎么用这种能力，用到什么程度，完全看你了。你可以只把他用在自动化测试方面，也可以用在日常的 web 作上，比如 100 个新员工注册公司内部平台账号，又比如在 12306 网抢票。当今世界， web 应用非常广泛。而 web 应用的客户端就是浏览器，也是驱动 web 应用的最源头，所以，驱动了浏览器，就基本驱动、控制整个 web 应用。而 Selenium 就是为了从浏览器端自动化 web 应用，量身定做的开源项目。可以这么说，目前它已经是这个领域最广泛使用的开元工具了。 web 测试自动化是很多公司控制成本，提高效率的急迫需求。所以我们打开类网站，对测试人员（尤其是测试开发）的说明中经常把 Selenium 技能作为一项重要的加分项目。 Selenium 目前已经获得主流 web 浏览器（比如 Chrome、Firefox、Safari、Opera、Edge ）的的驱动支持，自动化能力强，效率高。

Selenium 是一个工具包，里面有好几种工具用作不同 web 自动化用途。主要有下面这样常用的工具

Selenium RC 就是 Selenium 1 ，它是 Selenium 2 和 3 之前的版本。现在也仍然在维护中。和 Selenium 2 、3 使用 Web Driver 的方式不同， Selenium1 主要依靠的是 Remote 将 Selenium Core（Selenium 命令解释器） 注入到浏览器，通过 JaScript 实现 Web 自动化。下面是其原理示意图

Selenium Web Driver 提供了 web 自动化的各种语言 （ja，python，ruby等等） 调用接口库和各种浏览器的驱动（ Web driver ）。这是课程的重点，后面会详细讲解。下面是其原理的示意图

目前有两个版本 Selenium 2 和 Selenium 3 。 Selenium WebDriver 几乎支持目前所有的浏览器。

学视频剪辑！理由很简单，容易学（不像其它行业学习成本高，难度大），适合短期3-4个月短期学习，而且行业缺口非常大，无论是找工作还是自己在家里接私单，月收入万，两三万也是稀松平常。