电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

大数据面试题资料

大数据面试题资料_第1页
1/81
大数据面试题资料_第2页
2/81
大数据面试题资料_第3页
3/81
1、Hive 内部表与外部表的区别? 先来说下 Hive 中内部表与外部表的区别: Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径, 不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on write(写时模式),而 Hive 在 load时是不检查数据是否 符合 schema 的,hive 遵循的是 schema on read(读时模式),只有在读的时候 hive 才检查、解析具体的 数据字段、schema。 读时模式的优势是 load data 非常迅速,因为它不需要读取数据进行解析,仅仅进行文件的复制或者移动。 写时模式的优势是提升了查询性能,因为预先解析之后可以对列建立索引,并压缩,但这样也会花费要多的加载时间。 下面来看下 Hive 如何创建内部表: 1create table test(userid string);2LOAD DATA INPATH '/tmp/result/20251213' INTO TABLE test partition(ptDate='20251213');这个很简单,不多说了,下面看下外部表: 01hadoop fs -ls /tmp/result/2025121402Found 2 items03-rw-r--r-- 3 june supergroup 1240 2025-12-26 17:15 /tmp/result/20251214/part-0000004-rw-r--r-- 1 june supergroup 1240 2025-12-26 17:58 /tmp/result/20251214/part-0000105-- 建表06create EXTERNAL table IF NOT EXISTS test (userid string) partitioned by (ptDate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';07-- 建立分区表,利用分区表的特性加载多个目录下的文件,并且分区字段可以作为 where 条件,更为重要的是08-- 这种加载数据的方式是不会移动数据文件的,这点和 load data 不同,后者会移动数据文件至数据仓库目录。09alter table test add partition (ptDate='20251214') location '/tmp/result/20251214';-- 注意目录 20251214 最后不要画蛇添足加 /*,我就是 linux shell 用多了,加了这玩意,调试了一下午。。。注意:location 后面跟的是目录,不是文件,hive 会把整个目录下的文件都加载到表中:1create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email s...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

大数据面试题资料

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部