第10章 发现与搜索引擎技术-《物联网技术基础教程》VIP免费

第10章发现与搜索引擎技术学习任务WEB搜索引擎工作原理物联网搜索引擎服务发现技术Clicktoaddtitleinhere123本章主要涉及：本章主要涉及：10.1搜索引擎技术概述•搜索引擎（searchengine）是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，是为用户提供检索服务的系统。10.1.1搜索引擎的发展•1990年，加拿大麦吉尔大学（UniversityofMcGill）计算机学院的师生想到了开发一个可以用文件名查找文件的系统，开发出Archie。•当时，万维网（WorldWideWeb）还没有出现，人们通过FTP来共享交流资源。•Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。10.1.1搜索引擎的发展•虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。•所以，Archie被公认为现代搜索引擎的鼻祖。•由于Archie深受欢迎，受其启发，1993年又开发了一个Gopher搜索工具。10.1.2搜索引擎分类（1）全文索引•全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。•它们从互联网提取各个网站的信息，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果10.1.2搜索引擎分类根据搜索结果来源的不同，全文搜索引擎可分为两类:•一类拥有自己的检索程序（Indexer），俗称“爬虫”（Spider）程序或“机器人”（Robot）程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；•另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。10.1.2搜索引擎分类（2）目录索引•目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。•用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。•目录索引中最具代表性的有Yahoo、新浪分类目录搜索。10.1.2搜索引擎分类（3）元搜索引擎•元搜索引擎（METASearchEngine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。•著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等。10.2WEB搜索引擎工作原理web搜索引擎的原理通常为：•首先是用爬虫（Spider）进行全网搜索，自动抓取网页；•然后将抓取的网页进行索引，同时也会记录与检索有关的属性，中文搜索引擎中还需要首先对中文进行分词；•最后，接受用户查询请求，检索索引文件并按照各种参数进行复杂的计算，产生结果并返回给用户。10.2.1Web搜索引擎的组成搜索引擎一般由搜索器、索引器、检索器和用户接口四个部分组成：①搜索器：•其功能是在互联网中漫游，发现和搜集信息；②索引器：•其功能是理解搜索器所搜索到的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表；10.2.1Web搜索引擎的组成③检索器：•其功能是根据用户的查询在索引库中快速检索文档，进行相关度评价，对将要输出的结果排序，并能按用户的查询需求合理反馈信息；④用户接口：•其作用是接纳用户查询、显示查询结果、提供个性化查询项。10.2.1Web搜索引擎的组成搜索引擎组成搜索引擎组成10.2.2Web搜索引擎的工作模式①利用网络爬虫获取网络资源。•网络爬虫访问资源的过程，是对互联网上信息遍历的过程。•在实际的爬虫程序中，为了保证信息收集的全面性，及时性，还有多个爬虫程序的分工和合作问题，往往有复杂的控制机制。10.2.2Web搜索引擎的工作模式基本搜索器流程图基本搜索器流程图10.2.2Web搜索引擎的工作模式②利用索引器从搜索器获取的资源中抽取信息，并建立利于检索的索引表：•当用网络爬虫获取资源后后，需要对这些进行加工过滤，去掉网控制代码及无用信息，提取出有用的信息，并把信息用一定的模型表示，使查询结果更为准确。•其中信息的表示模型一般有布尔模型，向量模型，概率模型和神经网络模型等。10.2.2Web搜索引擎的工作模式•Web...