优酷土豆优酷的数据挖掘优酷作为一家大型视频网站,拥有海量播放流畅的视频
注重用户体验这一产品技术理念,将绝大部分存储用在视频资源上
通过建设专用的视频CDN,建立了可自由扩展、性能优异的架构,在提供更好用户体验的同时优化了存储资源
在除视频资源外的其他方面,我们也累积了海量数据:仅运营数据,每天收集到的网站各类访问日志总量已经达到TB级,经分析及压缩处理后留存下来的历史运营数据已达数百TB,很快将会达到PB级,5年后数据量将会达到几十PB级
挖掘数据中的价值对优酷而言,通过用户的每次播放流程,对页面浏览、评论收藏、视频播放以及播放时的各种操作进行了记录
经处理后的分析结果会反馈给不同的业务模块,对包括产品、内容运营、用户的个性化推荐及广告投放等方面的提升,都起到了关键作用
网站页面、客户端的UI/UE的设计及效果,都需要数据进行支持
通过A/B测试系统,我们收集到用户对不同UI下的操作反馈,进而评估UI的改变对用户的影响
内容方面,通过对用户网络情况的统计:每次播放是否发生了缓冲,平均下载速度是多少等,进行实时的统计和计算,获取每个地区每个运营商下用户的加载表现,以此来决定CDN节点的分布和分配策略,为不同地区、不同运营商的用户提供清晰流畅的视频服务
在推荐方面,通过对大量视频播放行为的分析,归纳不同时长、不同类型、不同内容的视频之间的相互关联,挖掘不同人群用户的同质化观看习惯,对每次用户的观看进行有针对性的后续推荐,并借助后续数据的分析,迭代地改善现有服务,为用户提供量身定制的推送服务
数据对于优酷的广告精准投放也起到了重要作用
优酷的广告系统支持对不同地域、频道、标签及人群等条件的定向投放
在投放策略上,我们本着尽可能不影响用户体验的原则,对于广告长度及投放频次都进行了限制
虽然这给投放造成了较大难度,但通过对各种细粒度的定向条件组合历史数据进行的分析,我们在广告投放方