很多人在做网站的时候都会去刻意追求收录，但是根本就没有注重网站的质量，以及网站的哪些页面需要收录，哪些页面不需要收录都不知道，这些最基础的点都没有弄明白就去操作整个网站。这样在整个网站的优化过程中，我们会浪费掉大量的时间和精力。

蜘蛛在抓取一个网站的之前，都是经过计算过一个网站有多少页面需要进行抓取，那么这个资源肯定是非常珍贵有限的。如果那这个价值发挥到最大化，就要把一些不用收录的页面进行屏蔽，合理的分配资源。

在参加关键词排名的过程中，都是以单个页面来也进行排序。那么这个问题就很显而易见了，也就是说对于我们网站有参与关键词排名的页面，以及能够促进关键词排名的页面都是有需要被收录的。

既然明白这个道理，那么网站上面出现的关于我们，联系我们，在线留言等等这些页面都是不需要被搜索引擎抓取的。（除非你想要来做关于我们、联系我们、在线留言这些关键词来参加排名）

还有一个大家经常忽略的一个问题，就是网站路径结构的问题，比如说www.shang-nan.com与www.shang-nan.com/index.html这两个路径都是同一个页面，比如：同一篇文章在不同的几个栏目下，也会造成一个页面有多个不同的路径。这样的不同路径相同页面都是需要进行301跳转或者robots屏蔽。

屏蔽这些页面的做法就非常简单了，在robots文件中添加一段代码屏蔽蜘蛛抓取的代码就可以了Disallow: /about_us.html （about_us.html就是你要屏蔽页面的路径）

----------------------------------------------------
· 二级域名网站好优化吗   [2022-6-29]
· 老年人网站优化   [2022-6-29]
· 永久网站域名   [2022-6-11]
· 在seo网站优化师眼里的高质量页面   [2020-12-17]
· seo网站优化自学简单吗   [2020-12-2]