SQOOP-2857: Sqoop2: toParquetTest fails frequently on the pre-commit hook
authorJarek Jarcec Cecho <jarcec@apache.org>
Mon, 21 Mar 2016 17:43:31 +0000 (10:43 -0700)
committerJarek Jarcec Cecho <jarcec@apache.org>
Mon, 21 Mar 2016 17:43:57 +0000 (10:43 -0700)
(Abraham Fine via Jarek Jarcec Cecho)

test/src/test/java/org/apache/sqoop/integration/connector/hdfs/ParquetTest.java

index 222c493..d55563d 100644 (file)
@@ -73,16 +73,24 @@ public class ParquetTest extends SqoopTestCase {
     fillHdfsLink(hdfsConnection);
     saveLink(hdfsConnection);
 
+    hdfsClient.mkdirs(new Path(HdfsUtils.joinPathFragments
+      (getMapreduceDirectory(), "TO")));
+
     // Job creation
     MJob job = getClient().createJob(rdbmsConnection.getName(), hdfsConnection.getName());
 
 
+
+
     // Set rdbms "FROM" config
     fillRdbmsFromConfig(job, "id");
 
     // Fill the hdfs "TO" config
     fillHdfsToConfig(job, ToFormat.PARQUET_FILE);
 
+    job.getToJobConfig().getStringInput("toJobConfig.outputDirectory")
+      .setValue(HdfsUtils.joinPathFragments(getMapreduceDirectory(), "TO"));
+
     saveJob(job);
     executeJob(job);
 
@@ -97,7 +105,7 @@ public class ParquetTest extends SqoopTestCase {
 
     List<String> notFound = new LinkedList<>();
 
-    Path[] files = HdfsUtils.getOutputMapreduceFiles(hdfsClient, getMapreduceDirectory());
+    Path[] files = HdfsUtils.getOutputMapreduceFiles(hdfsClient, HdfsUtils.joinPathFragments(getMapreduceDirectory(), "TO"));
     for (Path file : files) {
       ParquetReader<GenericRecord> avroParquetReader = AvroParquetReader.builder(file).build();
       GenericRecord record;