搜索引擎简介1

一、搜索类型1.全文索引全文索引引擎是名副其实的搜索引擎，国外代表有 Google,国内知名的百度搜索。它们从互联网提取各个网站的信息(以网页文字为主)，建立起数据库并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。根据搜索结果来源的不同，全文搜索引擎可分为两类：一类拥有自己的网页抓 取 、 索 引 、 检 索 系 统 (Indexer), 有 独 立 的 “ 蜘 蛛 ” (Spider) 程 序 、 或 爬 虫(Crawler)、或“机器人”(Robot)程序(这三种称法意义相同)，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的 Google 和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如 Lycos搜索引擎。2. 目录索引目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词(Keywords)进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo、新浪分类目录搜索。3. 元搜索引擎元搜索引擎(METASearchEngine)接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo 等,中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如 Dogpile；有的则按自定的规则将结果重新排列组合，如 Vivisimo。“百谷虎”-baigoohoo由于某家新闻媒体的报道，最近声名大振，高举着“山寨”大旗，让国人开始了解什么是山寨搜索引擎，名字极富创意。可惜由于搜索结果被并排挤在一起，似乎没有什么实际使用价值。4.其他非主流搜索引擎形式：垂直搜索引擎、集合式~、门户~、免费链接列表~二、搜索原理1.抓取网页每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider 顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。2. 处理网页搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。3. 提供检索服务用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标...