从事SEO关键词优化工作的应该都清楚，一个网页想要被收录，就必须有蜘蛛过来爬行，只有蜘蛛过来爬行，你的网站才有可能被搜索引擎收录。那么蜘蛛是怎么爬行的，他的爬行习惯是怎样的。


下面我们来说说蜘蛛爬行的原理，搜索引擎蜘蛛通过url链接爬行到达网页页面，按照从上到下，从左到右的习惯对网页内容爬行抓取，然后通过链接爬行进行到另一个页面，按照从上到下，从左到右爬行抓取，如此重复。那么，既然蜘蛛是通过链接爬行抓取页面信息的，是不是只要把网站上线了就一定会被爬行抓取呢?答案是：未必。想要正常访问网站进行抓取，还需具备以下几个条件：


新域名一般是不会有问题的，但如果使用的域名是老域名就必须无任何不良记录，如果域名被计入黑名单，有过作弊行为，被k过，这样的域名来建站是很难被收录的。


每一个网站就好像是站长自己的私密房间，既然是私密的，那么当有人要来拜访的时候就必须得遵守主人的协议了，至少也得先敲敲门、打声招呼吧。一样的道理，蜘蛛到达网站之后，首先也是要和网站打声招呼的，这个就是robots.txt协议了。每一个站长都必须在网站添加一份robots协议，告诉蜘蛛网站方不方便访问，如果是robots是禁止的写法，蜘蛛就不会再继续访问，如果是同意的写法，蜘蛛将按照协议进行爬行。虽然只是一份很简单的协议，却也是尤其重要的，这直接关系到网站能不能收录的问题，新站长们尤其要特别关注一下。至于robots的写法和坚持方法，网上有很多教程，大家自己去搜索一番即可得到想要的。