当前位置:
首页 > 建站学习 > 需要了解百度蜘蛛的特点和理解

需要了解百度蜘蛛的特点和理解

需要了解百度蜘蛛的特点和理解

需要了解百度蜘蛛的特点和理解
在国内做站的必须要了解国内最大的搜索引擎百度,那么你对百度的东西知道多少呢?其实搜索引擎的算法没几个人知道,但是要对一些比较常用的要了解,如百度蜘蛛,和robot等。易秀购主题网也分享一些经典的文章来送给大家。

Baiduspider - 百度蜘蛛:
百度是如何收录到那么多网页的呢?这个百度用以抓取互联网上数以亿计的网页的程序,就叫做Baiduspider - 百度蜘蛛。
它是一个程序,夜以继日得在互联网上找寻新的URL,接着抓取URL上的内容,返回到百度的网页暂存数据库。
百度用来抓取网页内容的程序,叫做Baiduspider,抓取其他内容的蜘蛛,则是新的名字:
产品名称 对应user-agent
网页搜索 Baiduspider
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro,现在我们明白它是百度联盟蜘蛛,用以百度联盟程序匹配相应的广告。

Robot是什么?
Robot英文直译是机器人,在搜索引擎优化SEO中,我们经常翻译为:探测器。
有时,你会碰到crawler(爬行器),spider(蜘蛛),都是探测器之一,只是叫法不同。
SEO中常说的这个探测器(Robot)是什么?
搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序(显然,不是一部机器)。
不同的搜索引擎给他们自己的探测器(Robot)起不同的名字。
谷歌:googlebot 百度:baiduspider MSN:MSNbot Yahoo:Slurp (yahoo家的这位比较特殊,没有带“姓”,并且用的是一个拟声词。Slurp,中文理解是机器人吃东西时发出的啧啧的声音)
关于Robot,需要关心的主要是Robots.txt,以及网站日志中包含的以上几个名字。

这些大家都知道是干什么的,但是要利用好确实要费一番心思的。易秀购主题网也在消化中,别小看一个robot.txt文件,里面的SEO技巧还是有的,感兴趣的可以多找些这方面的资料看看很有帮助。