news 2026/8/4 17:52:02

spark读hive偶尔出现table not found

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
spark读hive偶尔出现table not found

1、问题发现:

在spark环境调试业务过程中,出现table not found问题,重跑之后改问题又消失,后面发现有一定概率出现该问题

2、问题定位:

spark环境中是通过hive-site连接hive hive.metastore,查看hive.metastore.uris配置,发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因,猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri,多次测试后发现,连接到ip1:9083和ip3:9083时,会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083,同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/4 20:16:18

【源码开源】基于STM32的应急救援仓系统 | 救援效率和实时监控

【源码开源】基于STM32的应急救援仓系统 | 救援效率和实时监控 前言 随着城市化进程的加快&#xff0c;自然灾害和突发公共事件的频发&#xff0c;应急救援系统在保障民众生命财产安全方面显得尤为重要。传统的应急救援仓多依赖人工巡查&#xff0c;效率低且信息获取滞后。为…

作者头像 李华
网站建设 2026/8/4 2:55:12

【开源源码】基于 STM32智能温度监控系统 | 一个支持远程监控与告警的嵌入式实践项目

基于 STM32 和 μC/OS 的智能温度监控系统设计与实现 ——一个支持远程监控与告警的嵌入式实践项目 随着物联网与智能硬件的发展&#xff0c;环境监控系统已经成为工业、农业、智能家居等领域的重要组成部分。其中&#xff0c;温度监控作为最基础的参数采集手段&#xff0c;其…

作者头像 李华
网站建设 2026/8/4 11:03:25

【小白笔记】大数加法

“大数加法”是面试和算法练习中非常经典的一道题&#xff08;如 LeetCode 415&#xff09;。它的核心矛盾在于&#xff1a;计算机的标准整数类型&#xff08;如 64 位整型&#xff09;有最大值限制&#xff0c;当数字超过几十位甚至上百位时&#xff0c;直接相加会溢出。 处理…

作者头像 李华
网站建设 2026/8/4 7:18:38

课题申报新手入门必备指南!利用AI辅助搞定 6大关键部分,高效提升申报成功率(附AI提示词)

课题申报已经成为不少教师同仁职业发展、职称评比的必要条件之一,但很多新手老师仍不知道该从何下手。对于厚厚的申报指南和复杂的评审指标,不少教师虽然有研究想法,但卡在选题、创新点等关键环节上。 今天七哥带各位老师将申报书彻底拆解,弄清楚各部分写作技巧,并搭配AI…

作者头像 李华
网站建设 2026/8/5 0:46:07

Advanced Database Cleaner - WordPress数据库清理优化插件

‌Advanced Database Cleaner Pro 是一款专为WordPress设计的数据库清理与优化插件&#xff0c;主要用于删除冗余数据、孤立表、过期瞬态等&#xff0c;以提升网站性能和数据库效率‌。 如果您已经使用WordPress一段时间了&#xff0c;那么您可以考虑一下清理工作。您的数据库…

作者头像 李华
网站建设 2026/8/4 8:01:18

2025 年 12 月找靠谱中国 AI 智能体获客老师,麟哥难道不称职?

一、2025 ai 获客培训市场&#xff1a;讲师选择的核心参考维度2025 年 ai 智能体获客领域的技术迭代&#xff0c;正从通用大模型应用转向垂直场景深度适配。企业在筛选培训讲师时&#xff0c;已逐步跳出单纯的工具操作教学需求&#xff0c;更关注讲师的技术积累、知识体系完整性…

作者头像 李华