Question

用sqoop将mysql得表导入HDFS里，那么问题来了，这个表将会以什么格式存储在HDFS中呢，是txt还是别的？

Answer 1

sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想:1、在MYSQL中创建一个参数表A，用来记录要传输的表的表名B和字段。2、HDFS上的数据的格式和MYSQL中参数表A中B表的字段的数量一样。3、从MYSQL的参数表A中，读取要传输的表B。把这些字段拼凑成一个insert语句，例如，拼凑为insertintob(column1,column2..)values(value1,value2)4、从HDFS相应的目录逐行读取数据，通过JDBC，把数据批量导入到MYSQL的B表中。我现在用sqoop来代替原来传输的那个功能。先做一下准备工作：1、hadoop的每个节点下lib文件夹中要有mysql的jar包和sqoop的jar包。2、在HDFS的某个目录上的数据格式和MYSQL相应的表中的字段数量一致。实现类如下：packagesqoop;importjava.util.ArrayList;importjava.util.List;importorg.apache.hadoop.conf.Configuration;importorg.apache.sqoop.Sqoop;importorg.apache.sqoop.tool.ExportTool;/***用SQOOP来把数据从HDFS导入到MYSQL。**/publicclassTest{publicstaticvoidmain(String[]args){ListgeneratedJarsList=newArrayList();Configurationconf=newConfiguration();conf.set("fs.default.name","hdfs://master:9000");conf.set("hadoop.job.ugi","hadooper,hadoopgroup");conf.set("mapred.job.tracker","master:9001");ArrayListlist=newArrayList();//定义一个listlist.add("--table");list.add("a_baat_client");//mysql中的表。将来数据要导入到这个表中。list.add("--export-dir");list.add("/tmp/datathree/");//hdfs上的目录。这个目录下的数据要导入到a_baat_client这个表中。list.add("--connect");list.add("jdbc:mysql://192.168.1.10:3306/report");//mysql的链接list.add("--username");list.add("root");//mysql的用户名list.add("--password");list.add("root");//mysql的密码list.add("--lines-terminated-by");list.add("\\n");//数据的换行符号list.add("-m");list.add("1");//定义mapreduce的数量。String[]arg=newString[1];ExportToolexporter=newExportTool();Sqoopsqoop=newSqoop(exporter);sqoop.setConf(conf);arg=list.toArray(newString[0]);intresult=Sqoop.runSqoop(sqoop,arg);System.out.println("res:"+result);//打印执行结果。}}这个导出类执行过程中，可以在浏览器中看一下http://master:50030页面。会发现导出数据也是一个把任务转换为mapreduce执行的过程。当然，上面的java代码，也可以用命令行来实现。命令如下：bin/sqoopexport--connectjdbc:mysql://192.168.1.10:3306/report\--tablea_baat_client--usernameroot--passwordroot\--export-dir/tmp/datathree/-m1关于sqoop把数据从HDFS导入到MYSQL就说这么多。把数据从HIVE导入到MYSQL，其实可以理解为把HIVE表所对应的HDFS路径的数据导入到MYSQL，这里就不多说了。