robots文件

当我们的网站上线之后，一定会有一些不想让百度抓取的页面、文件，针对这种问题，我们就要使用协议去屏蔽。那么这个协议是什么？究竟怎么写这个协议呢？一、什么是搜索引擎协议：搜索引擎协议也就是我们常说的robots.txt。这是我们网站和搜索引擎之间的协议。当搜索引擎来到我们网站的时候，会先看一看有没有这个文件，在进行下一步的抓取。但是需要注意的是，这个协议只是我们单方面的，搜索引擎遵守与否，我们管不了。