Go语言网络爬虫

本章将完整地展示一个应用程序的设计、编写和简单试用的全过程，从而把前面讲到的所有 Go 知识贯穿起来。在这个过程中，加深对这些知识的记忆和理解，以及再次说明怎样把它们用到实处。由本章的标题可知，它是一个网络爬虫（或称网络内容爬取程序）的框架。

默认情况下，基于这个框架编写的网络爬虫程序是单机版的，也就是说，它仅会在一台计算机上运行。不过，在框架中留有一些易于扩展的接口，可以很方便地利用它们编写出一个分布式程序。当然，在这之前，需要先搞懂什么是分布式计算。

Go语言的特点是通过内部调度可以最大限度地利用单机的计算能力。然而，在分布式计算方面，它本身其实并没有提供什么现成的东西，还需要使用一些第三方的框架或工具，或者自己编写和搭建。