浪边SEO博客

什么是蜘蛛？搜索引擎用了爬行和访问页面的程序叫做蜘蛛（spider），或者成为机器人（bot）。搜索引擎蜘蛛访问网站页面好比用户使用浏览器一样，当蜘蛛程序发出访问页面的请求后，服务器将返回HTML代码，蜘蛛再将代码存放页面数据库中。搜索引擎提高爬行和抓取速度，会使用多个蜘蛛分布爬行收录，当蜘蛛访问任何网站的时候，首先访问网站根目的的roobts.txt文件，如果roobts...

搜索引擎知道是蜘蛛或机器人按链接爬行并抓取互联网的大量页面，在存进数据库内并进行处理，当用户在搜索栏中输入某个关键词后，搜索引擎按照程序排列并挑选最合适的关键词的页面。   目录则是人工分类的一套程序，人工编辑多个分类，站在可以在这些不同的目录分类中提交网站，然后网站经过后台审核后，再存放各个分类页面。典型的目录有雅虎目录，导航站等形式. 搜索...

搜索引擎是一个非常复杂的系统，其工作过程也非常复杂，搜索引擎的工作过程大致可以分为三个步骤   1、爬行和抓取：搜索引擎蜘蛛通过网页链接爬行访问，抓取页面的HTML代码后并存入数据库。 2、预处理：搜索引擎索引程序对抓取后的页面进行分析，对文字提取、文章分词索引等处理，以调用程序排名所用。 3、排名：当用户输入某个关键词后，排名程序调用索引数据库，...