明天遇到一个自称做了3年搜索引擎优化的人来公司面试，态度十分傲慢。在和他的交谈当中，提到了一个话题：robots.txt究竟该不该做。在他看来 robots.txt用途不大，他以前优化的电商网站都没写，而我想说的是：robots.txt文件是必须的。我不知道为什么做了3年搜索引擎优化的人会说robots.txt没什么大用途，还说没有其他外部链接蜘蛛就不会抓取到这些页面，没必要用robots.txt屏蔽。要是真的这样，为什么蜘蛛到了一个网站会首先看这个网站的robots.txt文件？robots.txt文件没有任何外部链接，仍能被蜘蛛爬取到？并且网站的源代码外面一定会有 css、js、网站后台、图片等链接那么这些文件都不用屏蔽？

OK，假设不写robots.txt也能做好搜索引擎优化，我供认，确实是，但是robots.txt做为搜索引擎优化入门的基础知识，是我们每个搜索引擎优化er应该注重的。搜索引擎优化做的就是细节，假设这个细节你不留意、那个细节也不留意，不留意的细节多了，你怎样能做好搜索引擎优化？

无论是百度也好、谷歌也好，他们的搜索引擎优化手册里都写到：

搜索引擎运用spider顺序自动拜访互联网上的网页并获取网页信息。spider在拜访一个网站时，会首先会 反省该网站的根域下能否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创立一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或许指定搜索引擎只收录特定的部分。

robots.txt的运用其实是搜索引擎优化的初级运用，在一些行业网站上尤为清楚，行业网站页面过多，无用的页面也有很多，所以必须运用robots.txt屏蔽无用页面，提升蜘蛛的爬取效率，这是搜索引擎优化的初级策略。

所以，robots.txt文件确实是有用的，并不像有些人说的那么不重要，有些人虽然做了几年的搜索引擎优化，但是如今还想用以前的思绪来做优化，显然 是不可取的，搜索引擎的技术在飞速提升，zac说过，谷歌在几年前就能抓取js外面的链接了，并且能传递权重，你还以为js不能被搜索引擎辨认吗？

搜索引擎的技术正在一步一步的完善，假设我们搜索引擎优化技术不能与时俱进，那就只能被淘汰！

来自：郑州朝阳顶尖搜索引擎优化培训学校：?ID=203

(责任编辑：admin)