搜索引擎的历史搜索引擎的历史搜索引擎的历史搜索引擎的历史,,,,现状和未来现状和未来现状和未来现状和未来张勤AlibabaSearchCenter浙江大学软件学院2009《互联网搜索技术》系列课程之一《互联网搜索技术》课程目标•加深对互联网和搜索引擎的理解•学习搜索引擎相关的核心技术领域•可以搭建一个简单的搜索引擎•增强未来在互联网行业求职的竞争力课程结构1.搜索引擎的历史、现状和未来2.分布式搜索引擎的体系结构3.Crawler设计和信息抽取4.索引和查询5.中文语言处理6.基于机器学习的搜索排序研究7.多媒体搜索8.课程答疑每节课将安排该领域具有丰富每节课将安排该领域具有丰富每节课将安排该领域具有丰富每节课将安排该领域具有丰富经验的经验的经验的经验的ASC技术专家来授课技术专家来授课技术专家来授课技术专家来授课每节课将安排该领域具有丰富每节课将安排该领域具有丰富每节课将安排该领域具有丰富每节课将安排该领域具有丰富经验的经验的经验的经验的ASC技术专家来授课技术专家来授课技术专家来授课技术专家来授课参考书《搜索引擎原理、技术与系统》作者:李晓明、闫宏飞、王继民科学出版社2004年出版补充读物-1作者博客站点作者博客站点作者博客站点作者博客站点http://battellemedia.com/TheSearch:HowGoogleandItsRivalsRewrotetheRulesofBusinessandTransformedOurCulturebyJohnBattelle•ISBN-10:1591840880•Publisher:Portfolio(September8,2005)补充读物-2ModernInformationRetrievalbyRicardoBaeza-Yates(UniversidaddeChile,Chile)andBerthierRibeiro-Neto(UnivFederaldeMinasGerais,Brazil)•ISBN-10:020139829X•Publisher:Addison-Wesley1999考评方法•课程成绩组成–课堂讨论40%–小组项目•项目1:30%•项目2:30%•分组方法–每个小组由2-3名同学组成,请大家课后将组合好的名单发给TA–名单一经确定后则不能修改–课程结束时小组成绩即为组内每个同学的成绩什么是搜索引擎搜索引擎属于跨学科应用,涉及信息检索、数据库、数据挖掘、计算机系统、多媒体、人工智能、计算机网络、分布式处理、图书馆学、自然语言处理等多个领域,是目前互联网上最复杂的基础应用之一AsearchengineisaprogramdesignedtohelpfindinformationstoredonacomputersystemsuchastheWorldWideWeb,insideacorporateorproprietarynetworkorapersonalcomputer.---Wikipedia本节课的目标•理解搜索引擎的–发展历史–分类的方法–技术原理和核心技术的变化–面临的挑战–未来的方向•本节课将包括2次自由讨论第1部分搜索引擎的发展历史搜索引擎的发展历史(1)1990-19941990年,最早的搜索引擎Archie出现,由加拿大麦吉尔大学学生AlanEmtage开发,对网上FTP站点的文件进行检索1990年,最早的搜索引擎Archie出现,由加拿大麦吉尔大学学生AlanEmtage开发,对网上FTP站点的文件进行检索19901991年,美国明尼苏达大学学生MarkMcCahill开发出Gopher,可对网上文本文件进行检索1991年,美国明尼苏达大学学生MarkMcCahill开发出Gopher,可对网上文本文件进行检索19921993年,第一个Web搜索引擎Wandex由MIT学生MatthewGray开发,它通过蜘蛛进行文件抓取1993年,第一个Web搜索引擎Wandex由MIT学生MatthewGray开发,它通过蜘蛛进行文件抓取19931993年10月,MartinKoster创建了Aliweb,是Archie的HTTP版本,靠网站主动提交信息来建立自己的链接索引1993年10月,MartinKoster创建了Aliweb,是Archie的HTTP版本,靠网站主动提交信息来建立自己的链接索引19941994年,第一个基于全文本检索的搜索引擎WebCrawler推出,该技术后被各搜索引擎采用1994年,第一个基于全文本检索的搜索引擎WebCrawler推出,该技术后被各搜索引擎采用7月,卡耐基梅隆大学的Lycos发布,同年发布的还有Infoseek7月,卡耐基梅隆大学的Lycos发布,同年发布的还有Infoseek19911994年4月,斯坦福大学学生DavidFilo和杨致远共同创办Yahoo!并成功使搜索引擎的概念深入人心,搜索引擎进入了高速发展时期1994年4月,斯坦福大学学生DavidFilo和杨致远共同创办Yahoo!并成功使搜索引擎的概念深入人心,搜索引擎进入了高速发展时期搜索引擎...