大规模分布式互联网应用的测量摘要:日益提高的效率与安全性需求催生了大量的大规模分布式新型互联网应用。这些网络应用所呈现的动态、分散、可扩展、高容错、隐私性强等特点,给网络应用的设计与管理带来了挑战。针对大规模分布式互联网应用进行测量,了解其行为特征、拓扑结构和流量特征,对于改进和管理互联网应用具有重要的参考价值。本文总结了新型互联网应用的测量研究框架,对新型互联网应用的特点、测量需求、技术难点进行分析,并以对等网络(P2P)在线视频服务、分布式匿名通信服务为例进行实例分析,介绍测量关键技术和未来研究方向。关键词:分布式;互联网应用;测量1引言在信息社会,通信网络成为21世纪全球最重要的基础设施之一。功能各异、形式多样的应用系统对数字信息的综合采集、存储、传输、处理和利用,最终都通过无处不在的网络平台完成,从而将全球范围的人类社会更紧密地联系起来,以不可抗拒之势影响和冲击着人类社会政治、经济、文化、军事、日常工作和生活的方方面面。随着互联网在世界范围内的迅猛发展,通过网络实现全社会的信息共享已逐渐成为现实。人们对互联网应用的效率与安全性的需求也日益提高,这种应用需求直接催生了大量的大规模分布式新型网络应用,这些新型应用从服务模式上解决传统网络应用在性能、安全性上的瓶颈问题,因此得到了广泛接受与快速发展。例如,近年来,伴随着世界网络经济的快速发展,对于包括网络电视、远程教育、视频会议、在线游戏等在内的大量新兴网络应用服务的需求量剧增,而这些应用服务又都需要在线视频广播技术的支持。因此,在线视频服务作为一种具有变革意义的新型网络服务类型,自其诞生之初就吸引了研究界和产业界的注意。然而,以IPTV为代表的视频服务的发展始终受到各种因素的制约和困扰。传统的客户/服务器模式提供的点播和单播服务存在服务器接入链路带宽、输入/输出性能的瓶颈,而IP组播(IPMulticast)体系结构[1]和内容传送网络技术(ContentDeliveryNetworks)也存在着可扩展性、部署成本等方面的问题。对等网络(P2P)在线视频服务是近年来兴起的新型大规模分布式网络应用,相比于传统的在线视频服务,对等网络体系结构具有很多优势:首先,对等网络技术不依赖于网络路由器和底层基础设施,因此具有高性价比和比较好的可扩展性;其次,在对等网络中,每个节点既是服务器又是客户端,既是资源消耗者又是资源提供者,因此有多少需求就会产生多少资源,这就解决了在线视频服务巨大的需求规模带来的问题;再次,对等网络技术解决了原本客户/服务器网络架构对服务器过分依赖而导致的利用率低等问题,在一定程度上实现了对网络带宽资源的合理分配,缓解了网络带宽不足的问题,而且还丰富了节目源,让用户的选择余地更大。基于上述原因,对等网络在线视频技术越来越受到产业界的广泛青睐,展现了巨大的生命力。分布式匿名通信服务是伴随着互联网应用的普及而产生和兴起的另外一种典型大规模分布式新型互联网应用。所谓匿名,是指保护用户身份信息的隐私,它已经成为很多网络应用的基本需求。在电子商务、电子选举、电子拍卖以及Web浏览、电子邮件、即时通信、在线医疗咨询甚至军事通信、情报通信等各种网络应用中,都存在保护用户身份以及通信关系等隐私信息不被泄漏的需求。然而,当前的互联网协议并不提供对匿名性保护的支持,网络管理人员、网络服务提供商甚至非法监听者都可以通过种种手段来获取网络使用者的身份信息、行为习惯等,危害个人隐私。尽管加密协议(如SSL、TSL、IPSec等)可以防止对通信过程中传递的信息内容进行窃听和分析,但是通过对网络数据报文的分析仍能解析出通信的源地址、目的地址、报文长度、通信时间以及通信频率等,从而获知通信者的身份信息、网络行为特征或通信者之间的对应关系,侵犯个人隐私。这种缺乏隐私保护的现状已经严重影响了互联网应用的普及。因此,网络匿名通信技术作为一种保护网络用户隐私的基本手段已经成为学术界、企业界甚至国家安全部门普遍关心的重要技术。如今,伴随着通信网络尤其是互联网的飞速发展以及新的网络应用的不断产生与普及,匿名技术得到了...