明天来说一个大家十分熟习的东西robot文件，置信大家对这个不生疏吧！但是我发现很多站长冤家们遗忘了这个文件的重要性，而且在设置的时分很随意。这种了解是错误的。我自已在一边听课一边自学，明天碰到了这个成绩；随后,我就咨询了一位搜索引擎优化的教员，我问他：教员这个robots重要吗？事先，教员语重心长的对我说了一句；robots既可以成就你的网站；也可以毁掉你的网站。所以嘛，还是很重要的。

言归正传吧！来和大家聊聊robots在我们网站的一些状况；在搜索引擎优化研讨中心有一位和我是比较好的冤家，有一次，他的网站有收录上千，突然一个下午收录为0了。事先他慌了，由于网站收录没有了；流量也没有了，辛辛劳苦的忙了一个多月。到头来却发现；竹篮子打水一场空。事先他心灰意冷；就跑到群里聊天，四处去问；我网站被k了，求处置办法啊！心急如焚，然后，有很多人帮他忙；反省缘由，经过一段很长的时间反省，大家发现了缘由是他的网站robots屏蔽了百度蜘蛛抓取网站页面。

为什么会出现这种状况呢？缘由在于它在做网站的时分robots是完全屏蔽了百度蜘蛛抓取。大家知道一个理想吧！就是当你写好了规则；屏蔽了百度蜘蛛的时分，可以发现百度还是会抓取的。道理很复杂，百度不能够做到人一样智能化。所以你屏蔽蜘蛛他还是会来抓取的。但是你也别慌啊！等过段时间百度就会把曾经抓到的页面、但是你robots文件中有屏蔽的页面；他会从索引库删除，百度也会有一个发现的进程；到矫正和纠错的进程。

事先，我就记得他说了一句话，就是为什么会去屏蔽百度蜘蛛？由于网站刚做；而且他本人也学习了搜索引擎优化，所以也听过搜索引擎优化的教员讲过一些这方面的内容，明白自已做一个新站可以暂时屏蔽网站蜘蛛；等网站做好了再提交给搜索引擎，并且把robots文件修下，允许百度抓取；能够是他遗忘了，把这关键一步给遗忘了。招致他辛劳做的网站和外链；被百度删除了收录的页面，那段时间很痛苦；他整团体心情也是十分高涨的。

明天，我经过这个冤家的阅历也是希望大家可以去注重robots这个成绩？很重要，请不要无视了；顺带自已谈谈我做的robots的一些阅历，我记得网站在新建的时分。我自已也是没有留意robots文件这个东西，觉得无所谓啊！然后昨天听教员讲到了这个成绩；我自已末尾注重了，然后我末尾把一些很渣滓的页面和图片全部给屏蔽了，页面主要是一些静态页面，大家都知道；百度喜欢静态的；假设你网站是静态；会形成搜索引擎屡次抓取，给搜索引擎印象又不友好。糜费蜘蛛时间和资源。你说他能对你又好吗？还有图片也是一些网上采集的图片；由于百度把一些原创图片给抓取了，假设你网站再用；这会招致百度以为你网站是抄袭的和伪原创的。这会招致百度不收录你的网站。

说了这么多，我团体建议就是希望广阔的站长冤家可以去注重这个成绩！

(责任编辑：admin)