运维开发网

sqoop

0
  • hadoop – Sqoop import:复合主键和文本主键

    Stack:使用Ambari 2.1安装HDP-2.3.2.0-2950 源数据库模式位于sql server上,它包含几个具有主键的表: >一个varchar > Composite – 两个varchar列或一个varchar一个int列或 两个int列.有一张大桌子?有三个的行 PK中的列一个int两...[详细]

    2020-05-18 14:48 分类:大数据
  • hadoop – SQOOP无法导入表格

    我正在sqoop上运行命令 sqoop import --connect jdbc:mysql://localhost/hadoopguide --table widgets 我的sqoop版本:Sqoop 1.4.4.2.0.6.1-101 Hadoop – Hadoop 2.2.0.2.0.6.0-101 两者均取自hortonworks分销. HADOOP_HOME,HCAT_HOME,S...[详细]

    2020-05-17 15:38 分类:大数据
  • hadoop – “创建数据库管理器时出错” – sqoop导入查询出错

    场景: 我试图从sql server导入HDFS,但我收到错误: 错误: hadoop@ubuntu:~/sqoop-1.1.0/bin$./sqoop import --connect 'jdbc:sqlserver://192.168.230.1;username=xxx;password=xxxxx;database=HadoopTest' --table PersonInfo...[详细]

    2020-05-17 10:17 分类:大数据
  • hadoop – Sqoop导入到Hive无限期挂起

    我正在尝试使用Sqoop Import将 mysql表导入Hive,但是在执行命令后,CLI保持平静没有任何反应,它会无限期挂起. 以下是命令和问题详情.. [cloudera@quickstart bin]$sqoop create-hive-table --connect jdbc:mysql://10.X.X.XX:XXXX/rkdb --...[详细]

    2020-05-16 17:11 分类:大数据
  • 如何在使用Hive的sqoop导出时覆盖MySQL表

    我需要将数据从Hive传输到 MySQL. 这是我的sqoop命令: jdbc:mysql://mysqlserver --username username --password password --table test --columns "member_id,answer_id,answerer_id" -m 1 --export-dir /user/hive/warehouse...[详细]

    2020-05-16 11:44 分类:大数据
  • hadoop – sqoop作业没有运行参数

    我正在尝试运行一个sqoop作业.我正在使用sqoop版本Sqoop 1.4.6-cdh5.8.0并且它不适用于此版本 它适用于Sqoop 1.4.5-cdh5.4.0. sqoop job --create E8 -- import --connect jdbc:mysql://localhost/test -- username root --password clo...[详细]

    2020-05-15 13:17 分类:大数据
  • hadoop – Avrodata文件和序列文件之间关于Apache sqoop的区别

    在sqoop的角度来看,将关系表导入序列文件之间的区别是什么 – sqoop import --connect connectionString \ --username userName –P --table tableName \ --as-sequencefile 并将其导入为avrodata文件,如 – sqoop import --...[详细]

    2020-05-13 14:32 分类:大数据
  • hadoop – 使用Sqoop导入时如何使用指定的Hive数据库

    sqoop import --connect jdbc:mysql://remote-ip/db --username xxx --password xxx --table tb --hive-import 上面的命令将表tb导入到’default’Hive数据库中. 我可以使用其他数据库吗? 我记得你可以指定–hive-table foo.tb 其中foo是...[详细]

    2020-05-12 21:11 分类:大数据
  • hadoop – 蜂巢中的增量/增量负载

    我有下面的用例: 我的应用程序在RDBMS DB中有一个包含多年数据的表.我们已经使用sqoop将数据导入HDFS并加载到按年划分的hive表中. 现在,应用程序更新,并且每天也将新记录插入到RDBMS表格表中.这些更新的记录可以跨越历史月份.更新的记录...[详细]

    2020-05-11 21:38 分类:大数据
  • 如何在MapReduce中使用sqoop生成的类?

    sqoop查询生成一个 java文件,其中包含一个类,该类包含要在mapreduce中访问每行的列数据的代码. (Sqoop导入是在没有–as-sequencefile选项的文本中完成的,每个记录有1行,列之间有逗号) 但是我们如何实际使用它呢? 我在这个类中找到了一个...[详细]

    2020-05-11 19:26 分类:大数据