检索关键词：网站优化,百度排名优化,网站建设,百度优化,百度排名优化,百度关键词优化,关键词排名,

　　对于做网站优化和百度排名优化的seo人员来说，搜索引擎蜘蛛可以说是再熟悉不过的了，搜索引擎蜘蛛也叫Web Spider，这个名字形象的把互联网比喻成一个庞大的蜘蛛网，搜索引擎蜘蛛在网上爬来爬去来抓取页面，它通过网站页面的链接地址来找到网页，从网站某个页面(通常是首页)开始读取网页中的内容，找到网页中其他的链接地址，然后再通过这些链接地址寻找下一个网页，这么循环往复，直到这个网站所有页面抓取完。       

　　 搜索引擎蜘蛛有两钟抓取网页的策略：广度优先和深度优先。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取，直至抓取到网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条链接线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。   

　　如果把整个互联网当成一个网站，网络蜘蛛就是使用这个原理把互联网上所有的网页全部抓取下来。    当然，一个搜索引擎要抓取互联网上所有的网页几乎是不可能的，截止目前已公布的数据来看，容量最大的搜索引擎也只不过抓取了整个网页数量的百分之四十左右，其中的原因一个是抓取技术的瓶颈，无法抓取所有的网页，因为很多网页无法从其他网页的链接中找到；另一个原因是存储技术和处理技术的问题，如果按照每个页面的平均大小为20K计算 （包含图片），100亿网页的容量是100×2000G字节，即使能够存储，下载也存在问题（按照一台机器每秒下载20K计算，需要340台机器不停的下载一年才能把所有网页下载完毕）。同时，由于数据量太大，在提供搜索时也会有效率方面的影响。因此，许多搜索引擎的网络蜘蛛只是抓取那些他们认为重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接深度。    

　　举例来说，A为起始网页，属于0层，B、C、D、E、F属于第1 层，G、H属于第2层，I属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另一部分不能被搜索到。所以对于网站建设者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。    

　　网络蜘蛛在访问和抓取网页的时候，时常会出现加密数据和网页权限的问题，一个网站的网页权限有的是需要会员才能访问。当然，站长可以通过某些协议去禁止网络 蜘蛛抓取，类似出售报告的网站是希望搜索引擎能搜索到他们的报告，但又限制不能完全免费提供给搜索者查看和阅览，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛则可通过网站所给予的权限对这些网页抓取，从而提供搜索。然后当搜索者搜索点击该网页时，同样需要提供相应权限的验证。