大数据基础专业课程设计方案报告

大数据基本课程设计报告一、项目简介： 使用 hadoop 中的 hive、mapreduce 以及 HBASE 对网上的一种搜狗五百万的数进行了一种比较实际的数据分析。搜狗五百万数据，是通过解决后的搜狗搜索引擎生产数据，具有真实性，大数据性，可以较好的满足分布式计算应用开发课程设计的数据规定。 搜狗数据的数据格式为：访问时间\t 顾客 ID\t[查询词]\t 该 URL 在返回成果中的排名\t 顾客点击的顺序号\t 顾客点击的 URL。其中，顾客 ID 是根据顾客使用浏览器访问搜索引擎时的 Cookie 信息自动赋值，即同一次使用浏览器输入的不同查询相应同一种顾客 ID。二、操作规定1.将原始数据加载到 HDFS 平台。 2.将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段。 3.将解决后的数据加载到 HDFS 平台。 4.如下操作分别通过 MR 和 Hive 实现。查询总条数非空查询条数无反复总条数独立 UID 总数查询频度排名（频度最高的前 50 词）查询次数不小于 2 次的顾客总数查询次数不小于 2 次的顾客占比Rank 在 10 以内的点击次数占比直接输入 URL 查询的比例查询搜索过”仙剑奇侠传“的 uid，并且次数不小于 35.将 4 每环节生成的成果保存到 HDFS 中。 6.将 5 生成的文献通过 Java API 方式导入到 HBase（一张表）。 7.通过 HBase shell 命令查询 6 导出的成果。三、实验流程1. 将原始数据加载到 HDFS 平台2. 将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段（1）编写 1 个脚本 sogou-log-extend.sh，其中 sogou-log-extend.sh 的内容为：#!/bin/bash#infile=/root/sogou.500w.utf8infile=$1#outfile=/root/filesogou.500w.utf8.extoutfile=$2awk -F '\t' '{print $0"\t"substr($1,0,4)" 年 \t"substr($1,5,2)" 月 \t"substr($1,7,2)" 日 \t"substr($1,8,2)"hour"}' $infile > $outfile解决脚本文献：bash sogou-log-extend.sh sogou.500w.utf8 sogou.500w.utf8.ext成果为：3. 将解决后的数据加载到 HDFS 平台hadoop fs -put sogou.500w.utf8.ext /4. 如下操作分别通过 MR 和 Hive 实现Ⅰ.hive 实现1.查看数据库：show databases;2.创立数据库: create database sogou;3.使用数据库: use sogou;4.查看所有表：show tables;5.创立 sougou 表：Create table sogou(time string,uuid string,name string,num1 i...