运维开发网

scala – 在spark over JDBC上从远程配置单元读取数据返回空结果

运维开发网 https://www.qedev.com 2020-06-14 16:03 出处:网络 作者:运维开发网整理
我需要从spark执行远程hive服务器上的hive查询,但由于某些原因,我只收到列名(没有数据). 表中的数据,我通过HUE和 java jdbc连接检查它. 这是我的代码示例: val test = spark.read .option("url", "jdbc:hive2://remote.hive.server:10000/work_base") .option("user
我需要从spark执行远程hive服务器上的hive查询,但由于某些原因,我只收到列名(没有数据).

表中的数据,我通过HUE和 java jdbc连接检查它.

这是我的代码示例:

val test = spark.read
    .option("url", "jdbc:hive2://remote.hive.server:10000/work_base")
    .option("user", "user")
    .option("password", "password")
    .option("dbtable", "some_table_with_data")
    .option("driver", "org.apache.hive.jdbc.HiveDriver")
    .format("jdbc")
    .load()
test.show()

输出:

+-------+
|dst.col|
+-------+
+-------+

我知道这个数据可以在这张桌子上使用.

Scala版本:2.11

Spark版本:2.1.0,我也试过2.1.1

Hive版本:CDH 5.7 Hive 1.1.1,在HDP上我有相同的故事

Hive JDBC版本:1.1.1我也试过以后的版本

但是这个问题在Hive和更高版本上也可用.

你能帮我解决这个问题吗,因为我在邮件组答案和StackOverflow中找不到任何东西.

也许你知道如何从spark到远程服务器执行hive查询?

您应该将其添加到您的选项中:

.option("fetchsize", "10")
0

精彩评论

暂无评论...
验证码 换一张
取 消