采集程序设计经验交流（一） 前言

“小网站本不需要维护，只是因为你的程序太笨了，所以你成了无休止的网站维护者。”—沉默的海

前言

经常有朋友在Q群(75604923)里问起采集的相关问题，每次针对个人回答的时候，总是无法说得很全面，很多朋友表示不满意，今天发表此文，详细介绍一下采集程序的设计思路。其实“沉默的海”本是一名业余ASP爱好者，ASP综合技术水平应该说是一个“二把刀”。但对于采集程序的编写，应该说还有点研究，因为我是因为采集程序才迷上编程、迷上ASP，也是从这里开始了自己的编程之路。

一、 采集程序的作用。

这个问题也许不用多说，每个站长可能都感觉特别的需要，因为我们精力必竟有限，不象那些大的网络公司，有专门的新闻记者和网络写手。这样以来，要想使自己的网站内容丰富起来，借签别的网站上的内容无疑成了一个最好的办法，也就是这个原因，数以千计的站长不知不觉中成了“复制粘贴”的操作手，在和站长朋友的聊天中得知，多数站长每天做的工作就是“复制粘贴”。这是一个多么枯燥的工作啊，但，为了自己的希望也不得不去做这些最让人讨厌的事情。

这样以来，采集程序成为站长们必不可少的一个工具，给站长们带来了很多的便利，即使我们的网站内容得到了丰富，又节省了很多的精力和时间。(和也许可以作为采集程序示例网站，无需要任何更新，网站永远都是新的。)

但，有多站长却又不会自己设计采集程序，从网上下载的程序要么是收费的，要么是功能不全的，往往不能让人满意。即便是收费的，用起来也不是十分方便，因为需要很多手工的操作。

“沉默的海”认为：采集程序要想真正发挥其方便快捷的优势，最好的一个办法是针对自己的网站量身设计，而后和网站集成在一起，成为网站的一部分，只有这样，才能算是一个成功的采集程序。

可是，采集程序怎么做呢?难吗?

二、 采集程序怎么做。

“沉默的海”认为，采集程序设计一点都不难，只要有一些ASP编程常识，我觉得一天之内学会它，是没有问题的。(相信我的话，你就把文章看完，我保证不会让你失望;不相信我的话也请你看完，我保证看完后你会相信我的话。)

采集程序的基本原理其实很简单：包括两个步骤：

1、 下载目标网页;

大家知道，采集程序帮我们做的工作其实就是“复制和粘贴”，那么要把一个网站复制下来，首页你需要把网页打开啊，这个过程其实就是下载目标网页，只不过我们不是人工下载，而是利用程序来完成它。

这里有“核心技术”：XMLHTTP，它可以把网页下载以备下一步的使用。

2、 提取网页中我们需要的内容;

上一步我们完成了第一步：下载网页。

但并不是所有下载的内容都是我们需要的，所以还要做的工作就是，提取我们需要的内容，去除不需要的，存入数据库。这一步的主要技术是：正则表达式。

三、 做什么样的采集程序。

做了以上两步，应该说一个完整的采集程序已经完成了。它可以采集到我们需要的内容，而后存入数据库，供我们使用。可是，这是我们真正需要的吗?显然不是，因为我们既然要用采集程序来支持我们的网站，那就要用它来完成几乎所以的工作。我认为：如果你的网站加了采集程序，那么即使长年不维护，网站依然是新的，这样才算是成功的。

上面的采集程序显然做不到，因为你还得启动采集程序，然后把数据导入网站的数据库，然后生成html，等等等等，还有很多工作需要我们来做。我们理想中的采集程序是不需要人工来做任何工作的，所以在完成采集程序之后我们还要做一些配套的程序，以保证采集程序的运行，和与网站的完美集成。

1、 自动启动采集程序;

2、 将采集数据直接写入网站数据库;

3、 配套生成html等后续工作。

做了以上三点，我们才可以说自己做了一套还算可以的采集程序，那么我们具体应该怎么做呢，请看《采集程序设计经验交流(二)—下载网页》。