600字范文,内容丰富有趣,生活中的好帮手!
600字范文 > mysql避免笛卡尔积_避免hive笛卡尔积

mysql避免笛卡尔积_避免hive笛卡尔积

时间:2023-05-27 01:43:58

相关推荐

mysql避免笛卡尔积_避免hive笛卡尔积

(特别要注意笛卡尔积的产生)

业务中需要的是

比如:

(要出前台报表展现)

省份 用户总数 活跃总数 订购总数

表1:省份---用户表

表2:省份---活跃表

表3:省份---订购表

理论上:都是三张表拼凑在一起,没有任何关联

但是我当时处理的是:

方式2:

通过省份把三张表关联起来勒,这样变成了:省份 用户 活跃 订购 表勒

那么必然你最后汇总求和就会出现笛卡尔积

一个省 一个用户 第1个活跃 对应--->所有订购表

一个省 一个用户 第2个活跃 对应----> 所有订购表

。。。

一个省 一个用户 所有活跃 对应--->(所有活跃对应的订购表求和)

。。。

一个省 所有用户 对应(所有活跃的求和) (所有订购表的求和)

是不是:问题出来勒 ,笛卡尔积产生了!

就当与简单例子:

学校 学生总数 课程总数

1 100 10 (就这一条数据)

但是如果你关联以后再求

1 1 10 (学校1 ,1个学生对应10门课)

1 2 10 (学校1,2个学生对应也是10门课)

。。。

1 100 10

汇总结果:

1 100 1000 (学校1,100个学生对应1000门课)

Hive本身是不支持笛卡尔积的,不能用select T1.*, T2.* from table_1, table_2这种语法。但有时候确实需要用到笛卡尔积的时候,可以用下面的语法来实现同样的效果:

select T1.*, T2.* from

(select * from table1) T1

join

(select * from table2) T2

on 1=1;

其中on 1=1是可选的,注意在Hive的Strict模式下不能用这种语法,需要先用set hive.mapred.mode=nonstrict;设为非strict模式就可以用了。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。