社区微信群开通啦，扫一扫抢先加入社区官方微信群
社区微信群
最近工作中模型出现的死锁问题
azkaban spark任务报错信息
代码：
代码上看都是正常的DataFrame写入mysql操作，并且是update操作
来看看数据库结构：
这次看到，数据库时由联合主键构成的，查看了源数据，发现hive中数据又很多是相同的数据。
此前：做了一个小测试，将所有的联合主键取消掉，这个表没有的主键，因此写操作是insert操作了，执行spark任务后，没有出现这种操作，因此可以看出错误的原因由于重复数据太多，并且对于这种联合主键表的原因，大可能滴出现DeadLock死锁问题；
解决：
方法一：联合主键取消改成唯一主键（由于生产上的表，所以不能，个人原因）
方法二：代码中做distinct或filter操作将，重复数据过滤掉或进行去重，并设置SparkSession的事务级别，可以查看Spark官网
直接上代码:
这样，后发现Spark任务执行成功，并且写入数据成功，不会报上述DeadLock死锁问题
如果觉得我的文章对您有用，请随意打赏。你的支持将鼓励我继续创作！
