Preparing for release 1.4.4
[sqoop.git] / CHANGELOG.txt
1
2 Changelog - Sqoop - Version 1.4.4 - 07-18-2013
3
4 ** New Feature
5     * [SQOOP-931] - Integrate HCatalog with Sqoop
6     * [SQOOP-999] - Support bulk load from HDFS to PostgreSQL using COPY ... FROM
7     * [SQOOP-1038] - Add support for composite keys in HBase import
8
9 ** Improvement
10     * [SQOOP-885] - Allow excluding some tables from import-all-tables tools
11     * [SQOOP-912] - Add ability to specify --hive-database parameter
12     * [SQOOP-914] - Securing passwords in sqoop 1.x
13     * [SQOOP-916] - Add an abort validation handler
14     * [SQOOP-933] - Properly log SQLExceptions using getNextException() method for chaining exceptions
15     * [SQOOP-934] - JDBC Connection can timeout after import but before hive import
16     * [SQOOP-937] - Dont generate ORM files for  Direct mode connectors
17     * [SQOOP-1140] - Enable overriding username, password and database in DB2 test
18
19 ** Task
20     * [SQOOP-1010] - Change default Hadoop profile to 2.x
21     * [SQOOP-1118] - Move PostgreSQL specific MR codes to org.apache.sqoop.mapreduce.posgresql
22
23 ** Sub-task
24     * [SQOOP-838] - Stored procedures: MySQL
25     * [SQOOP-839] - Stored procedures: Oracle
26     * [SQOOP-847] - Provide direct support
27     * [SQOOP-848] - Unit tests for Netezza connector
28     * [SQOOP-849] - documentation for netezza connector
29     * [SQOOP-949] - Allow Sqoop to build on Windows OS
30     * [SQOOP-954] - Create Sqoop runtime scripts to run Sqoop on Windows
31     * [SQOOP-955] - Fix Sqoop unit test failures on Windows
32     * [SQOOP-962] - Document null string behavior
33     * [SQOOP-970] - Explicit delimiter configuration information should be available for exports also
34     * [SQOOP-1011] - Allow automatic creation of HCatalog tables
35     * [SQOOP-1020] - Fix Hive Unit tests to work in the presence of Hive classes
36     * [SQOOP-1050] - Add documentation for HCatalog Integration
37     * [SQOOP-1127] - Some database specific types are not properly handled during exports
38
39 ** Bug
40     * [SQOOP-846] - Provide a connector for Netezza appliances
41     * [SQOOP-856] - PGBulkLoadExportMapper has an infinite waitFor without any logging in the event of Interrupted exceptions
42     * [SQOOP-859] - PostgreSQL: Test cases have hard coded username and password
43     * [SQOOP-883] - Remove input directory prior Sqoop import
44     * [SQOOP-891] - Sqoop export from S3 to MySQL fails when S3 is not default filesystem.
45     * [SQOOP-906] - Sqoop is always calling ConnectionManager.datetimeToQueryString with TIMESTAMP column type
46     * [SQOOP-907] - Print out queries executed by Sqoop on mapreduce job side
47     * [SQOOP-928] - PostgresqlManager should rollback any pending changes instead of commit when closing connections
48     * [SQOOP-929] - Add more Netezza direct mode tests
49     * [SQOOP-932] - Netezza direct manager is ignoring --null-*-string arguments
50     * [SQOOP-936] - Classwriter should check if columnNames generated are null before accessing them
51     * [SQOOP-950] - Can't build package from provided binary artifacts
52     * [SQOOP-959] - Use CredentialsUtil.fetchPasswordFromFile in BaseSqoopTool
53     * [SQOOP-968] - Cannot build when in a directory with spaces
54     * [SQOOP-976] - Incorrect SQL when incremental criteria is text column
55     * [SQOOP-979] - MySQL direct connector is not working correct after moving password to credential cache
56     * [SQOOP-981] - The --hadoop-home command line parameter is no longer accepted
57     * [SQOOP-988] - Validation option should provide some output that validation is being done
58     * [SQOOP-992] - Allow to set target java version during compilation
59     * [SQOOP-1006] - Update year in the notice file to 2013
60     * [SQOOP-1008] - Test TestClassWriter.testNoClassGeneration is failing on JDK7
61     * [SQOOP-1027] - Incremental import is not properly escaping table name when loading maximal value
62     * [SQOOP-1029] - Oracle export using procedures does not work
63     * [SQOOP-1030] - Enable column types Binary and Varbinary parsing in Sqoop for export
64     * [SQOOP-1031] - Provide default Java type mapping for MS Sql Datetimeoffset type
65     * [SQOOP-1033] - CombineFileInputFormat does not work with paths not on default FS like ASV
66     * [SQOOP-1034] - Fix SQL Azure database may return table columns in inconsistent order
67     * [SQOOP-1052] - Hive import is not compatible with Avro and SequenceFile but no errors are thrown
68     * [SQOOP-1053] - Fix sqoop to work with Hadoop 2.0.4 alpha
69     * [SQOOP-1071] - Avro import is failing when columns are starting with underscore
70     * [SQOOP-1078] - incremental import from database in direct mode
71     * [SQOOP-1083] - Split HBaseImportTest into multiple independent tests
72     * [SQOOP-1097] - Export using procedures feature needs fixes for working with mysql
73     * [SQOOP-1124] - Direct export to PostgreSQL with PGBulkloadManager fails without explicit port number settings
74     * [SQOOP-1129] - PostgreSQL direct test are failing on trunk
75
76 ** Test
77     * [SQOOP-1035] - Add MS Sqoop Connecter tests
78
79 Changelog - Sqoop - Version 1.4.3 - 02/20/2012
80
81 ** New Feature
82     * [SQOOP-390] - PostgreSQL connector for direct export with pg_bulkload
83     * [SQOOP-540] - Microsoft SQL Connector doesn't support custom schemas
84     * [SQOOP-601] - Support custom schemas in PostgreSQL Connector
85     * [SQOOP-621] - Requesting support for upsert export with MySQL
86     * [SQOOP-724] - Support Table hints in Microsoft SQL Server
87     * [SQOOP-749] - Exports Using Stored Procedures (Functions)
88     * [SQOOP-767] - Add support for Accumulo
89
90 ** Improvement
91     * [SQOOP-350] - Add support for requiring that a connector be used, otherwise the job should fail
92     * [SQOOP-467] - Add support for Oracle BINARY_FLOAT and BINARY_DOUBLE data types
93     * [SQOOP-579] - Simple refactoring of org.apache.sqoop.manager.DefaultManagerFactory - extract methods for reuse
94     * [SQOOP-580] - Add Open-ended "teardown" routine that is called after the job execution for cleanup
95     * [SQOOP-598] - Document NULL substitution string changes for HIVE import
96     * [SQOOP-603] - Support small intervals in IntegerSplitter implementation
97     * [SQOOP-604] - Easy throttling feature for MySQL exports
98     * [SQOOP-635] - Explaining why it's important to specify weird urandom path in Troubleshooting guide
99     * [SQOOP-638] - Add an optional, simple and extensible validation framework for sqoop
100     * [SQOOP-650] - Add ability to name mapreduce job generated by Sqoop
101     * [SQOOP-653] - Add splitter support for N(LONG)(VAR)CHAR Sql type
102     * [SQOOP-720] - Improve error handling when exporting malformed text data
103     * [SQOOP-726] - Put debugging information into generated SqoopRecord class
104     * [SQOOP-804] - Warn if hive special arguments will be used without --hive-import
105     * [SQOOP-820] - Escape table name in export job only if it's required by connector
106     * [SQOOP-833] - add *.eml "ant eclipse" (IntelliJ import) generated file, to .gitignore
107
108 ** Task
109     * [SQOOP-535] - Support splitting metadata to connector and framework specific
110     * [SQOOP-731] - Move HBase tests to manual tests as they depend on unreleased artifacts
111
112 ** Sub-task
113     * [SQOOP-592] - Change repository location on Sqoop website
114     * [SQOOP-595] - Change repository location in source code
115     * [SQOOP-683] - Documenting sqoop.mysql.export.sleep.ms - easy throttling feature for direct MySQL exports
116
117 ** Bug
118     * [SQOOP-382] - Connection parameters should be used on the mapper
119     * [SQOOP-437] - Preparing release requires manual changes to LICENSE.txt file
120     * [SQOOP-462] - Sqoop hbase Test Compilation failure.
121     * [SQOOP-526] - Unable to resolve maven-scm-providers-standard
122     * [SQOOP-578] - sqoop script calls com.cloudera.sqoop.Sqoop instead of org.apache.sqoop.Sqoop
123     * [SQOOP-582] - Create a template method for job submission in Export/Import JobBase
124     * [SQOOP-585] - Bug when sqoop a join of two tables with the same column name with mysql backend
125     * [SQOOP-586] - ant checkstyle has 2 errors
126     * [SQOOP-597] - PostgreSQL Manager is incorrectly escaping table names
127     * [SQOOP-599] - Import to HBase is not working on secure cluster
128     * [SQOOP-600] - HBase table family presence is not working correctly on new HBase versions
129     * [SQOOP-607] - In-process Hive CLI driver does not work
130     * [SQOOP-609] - 3rd party LobAvroImportTest failures in trunk
131     * [SQOOP-615] - Error in Avro generation
132     * [SQOOP-616] - HBase import/export is not working on non secure cluster where security is available
133     * [SQOOP-617] - User guide is missing argument --fetch-size
134     * [SQOOP-628] - Postgres direct import fails on non-lowercase column names
135     * [SQOOP-636] - ExportJobTestCase.runExport method does not reuse the existing Configuration and SqoopOptions 
136     * [SQOOP-652] - Improve error message generated in  DataDrivenDBInputFormat when no splitter is available
137     * [SQOOP-654] - PostgreSQL direct connector is ignoring --null(-input)string and --null(-input)-non-string arguments
138     * [SQOOP-657] - ant checkstyle results in errors
139     * [SQOOP-687] - org.apache.sqoop.tool.ExportTool.applyOptions invokes applyOutputFormatOptions(..) twice in succession
140     * [SQOOP-706] - Sqoop won't compile on Java 7 due to new methods in ResultSet interface
141     * [SQOOP-721] - Duplicating rows on export when exporting from compressed files.
142     * [SQOOP-725] - Enable HBase tests in sqoop 1
143     * [SQOOP-730] - User Guide Update: Section 3 - Sqoop Releases
144     * [SQOOP-741] - The OracleConnect getTables() implementation needs to restrict tables to current user
145     * [SQOOP-796] - Unable to use new Hadoop environment variables
146     * [SQOOP-808] - SQLExceptions From Batched Exports Aren't Very Helpful
147     * [SQOOP-818] - Missing method setConnManager(Lcom/cloudera/sqoop/manager/ConnManager;)V in ExportJobContContext breaks MS SQL Connector
148     * [SQOOP-821] - Hadoop has changed logic for job id in LocalJobRunner that breaks Lob* tests
149     * [SQOOP-824] - Sqoop code generation in 'update' export mode incompatible with '--columns' option
150     * [SQOOP-825] - Warning for incorrect usage of hive parameters is not checking HIVE_HOME correctly
151     * [SQOOP-829] - Error Messages For --map-column-java Should Be More Useful
152     * [SQOOP-830] - HBase import formatting BigDecimal inconsistently
153     * [SQOOP-840] - Inconsistent java generics declaration for exportwriter classes
154     * [SQOOP-846] - Provide a connector for Netezza appliances
155     * [SQOOP-853] - sqoop list-tables isn't returning the tables that have custom schemas
156     * [SQOOP-854] - pg_bulkload: Return value of pg_bulkload utility is being ignored
157     * [SQOOP-855] - pg_bulkload: NullPointerException will be thrown if user specified invalid path the binary
158     * [SQOOP-860] - NullPointerException when running procedure export against old database
159     * [SQOOP-862] - Hbase import fails if there is a row where all columns are null
160     * [SQOOP-870] - Allow Sqoop to import row key column into HBase
161     * [SQOOP-901] - Allow user to override hardcoded boolean strings in direct PostgreSQL connector
162
163 ** Test
164     * [SQOOP-606] - Increase unit test timeout
165
166
167 Changelog - Sqoop - Version 1.4.2 - 08/07/2012
168
169 ** New Feature
170     * [SQOOP-439] - Released artifacts should embrace unwritten naming policy
171     * [SQOOP-444] - Support incremental import for free form queries
172
173 ** Improvement
174     * [SQOOP-391] - Dependencies should use released versions of Apache Hadoop, HBase, and ZooKeeper
175     * [SQOOP-416] - Allow code-generation arguments with Avro imports
176     * [SQOOP-436] - The --verbose option should enable verbose logging for MapReduce jobs as well
177     * [SQOOP-438] - allow sourcing of sqoop-env.sh to set various environment variables
178     * [SQOOP-440] - Rename CHANGES.txt to CHANGELOG.txt
179     * [SQOOP-442] - Ant target mvn-install is generating pom with dependencies on cloudera version of Hadoop
180     * [SQOOP-443] - Calling sqoop with hive import is not working multiple times due to  kept output directory
181     * [SQOOP-447] - Use release version of Apache Hadoop 0.23.1 in build
182     * [SQOOP-459] - Remove redundant steps in compatibility tests: verifyReadback() method
183     * [SQOOP-461] - Sqoop User Guide's troubleshooting section should include Oracle Connection Errors
184     * [SQOOP-463] - Sqoop User Guide's troubleshooting section should explain how to override the column mapping when importing a table from MySQL into Hive
185     * [SQOOP-464] - Warn when user is importing data into /user/hive/warehouse with flag --hive-import
186     * [SQOOP-465] - BLOB support for Avro import
187     * [SQOOP-483] - Allow target dir to be set to a different name than table name for hive import
188     * [SQOOP-484] - Update troubleshooting guide section about MySQL and TINYINT(1) columns
189     * [SQOOP-487] - InformationSchemaManager.getPrimaryKeyQuery can take a very long time for large mysql table with partitions
190     * [SQOOP-510] - Improve the error message for bad connector files
191     * [SQOOP-522] - Move  printing error "ERROR orm.CompilationManager: Could not rename" to DEBUG
192     * [SQOOP-529] - Enforce usage of --driver and --connection-manager parameters
193     * [SQOOP-538] - Hudson configuration for all hadoop versions
194
195 ** Task
196     * [SQOOP-516] - Sqoop 1.4.2 release preparation
197     * [SQOOP-519] - Update the version of hsqldb decadency to 2.X
198     * [SQOOP-574] - Create a Hadoop-2.0.0 build profile
199
200 ** Sub-task
201     * [SQOOP-470] - Create tests for blob support for Avro import
202
203 ** Bug
204     * [SQOOP-352] - Export of avro data imported from database table (using sqoop import) fails on year
205     * [SQOOP-410] - Direct modes can't import views
206     * [SQOOP-425] - Sqoop invokes ResultSet.isLast() which causes Sybase JDBC driver to hang
207     * [SQOOP-445] - Wrong query for getListColumnsQuery in PostgresqlManager
208     * [SQOOP-448] - boolean fields get nullified during postgres direct import into hive.
209     * [SQOOP-450] - Direct MySQL import can fail when using mysqldump version 5.1.14 or above.
210     * [SQOOP-452] - Mysql free form queries fail if alias is not used.
211     * [SQOOP-453] - Oozie does not work with Sqoop metastore
212     * [SQOOP-454] - Upgrade dependency on HBase version 0.92.0-SNAPSHOT as it was already released
213     * [SQOOP-460] - Verbose logging does not turn the level for correct logger
214     * [SQOOP-468] - Oracle free form queries fail.
215     * [SQOOP-473] - Sqoop import-all-tables fails with MySQL connector
216     * [SQOOP-474] - Split-by specification incorrectly triggers bounding value query
217     * [SQOOP-476] - If table name is a qualified name, Sqoop import fails in DB2
218     * [SQOOP-480] - MS SQL server connector and OraOop connector are incompatible with Sqoop-1.4
219     * [SQOOP-481] - Sqoop import with --hive-import using wrong column names in --columns throws a NPE
220     * [SQOOP-482] - import tool for mysql direct mode reports wrong record number
221     * [SQOOP-488] - Parameter for extended verbose is not working due to migrated code to different module
222     * [SQOOP-489] - Cannot define partition keys for Hive tables created through Sqoop
223     * [SQOOP-490] - Style error in the trunk
224     * [SQOOP-503] - --columns argument support for export
225     * [SQOOP-505] - Trailing space after jar in managers.d/connectors causes file not found
226     * [SQOOP-508] - Sqoop metastore cannot be started due to missing hsqldb jar file
227     * [SQOOP-521] - Import fails on tables with names containing hyphens ( - )
228     * [SQOOP-524] - hsqldb jar update regression
229     * [SQOOP-528] - Remove references to incubator from sources
230     * [SQOOP-536] - Blob import doesn't work with avro 1.7.1
231     * [SQOOP-539] - getPrimaryKeyQuery is very slow in mysql 5.0.77
232     * [SQOOP-571] - Revert SQOOP-519 and SQOOP-524
233
234
235 Changelog - Sqoop - Version 1.4.1-incubating - 02/16/2012
236
237 ** New Feature
238     * [SQOOP-337] - Create Sqoop Logo / Icon
239     * [SQOOP-362] - Allow user to override mapping when doing import to AVRO format
240
241 ** Improvement
242     * [SQOOP-397] - Make Sqoop work with Hadoop 0.23
243     * [SQOOP-411] - Precompile Pattern for replacement of Hive delimiters
244     * [SQOOP-420] - sqoop - compatible with hadoop 1.0.0 
245     * [SQOOP-432] - Enforce writing space after if statement
246
247 ** Task
248     * [SQOOP-396] - publish sqoop artifacts to Apache Maven repo
249     * [SQOOP-400] - Merge 1.4.0 release changes back to trunk
250     * [SQOOP-405] - Enable TestDataDrivenDBInputFormat for Hadoop 0.23 when appropriate
251     * [SQOOP-427] - Sqoop 1.4.1 release preparation
252
253 ** Sub-task
254     * [SQOOP-356] - move documentation generation to the maven build
255     * [SQOOP-372] - License Audit
256     * [SQOOP-412] - Create our own implementation of org.apache.hadoop.conf.Configuration.getInstances
257     * [SQOOP-413] - Port files org.apache.hadoop.mapreduce.lib.{db,input}.* from CDH3/Hadoop-0.21 to sqoop
258
259 ** Bug
260     * [SQOOP-384] - Sqoop is incompatible with Hadoop prior to 0.21
261     * [SQOOP-392] - Build using maven is broklend due to missing class generated by script write-version-info.sh
262     * [SQOOP-393] - Class SqoopOptions was not properly moved
263     * [SQOOP-395] - Incorrect or missing SVN property settings
264     * [SQOOP-409] - hive-drop-import-delims doesn't work with MySQL direct import
265     * [SQOOP-414] - Column names are not guaranteed in order for getColumnNames of OracleManager
266     * [SQOOP-418] - MySQLAuthTest hangs when run against MySQL 5.5.3 or higher version
267     * [SQOOP-421] - User guide should state that when using --direct, hbase params get ignored
268     * [SQOOP-422] - Throw an exception when --direct and hbase* options are used together
269     * [SQOOP-424] - Codegen compilation fails with Hadoop 0.23 
270     * [SQOOP-426] - Build command ant mvn-install generates Sqoop pom with incorrect group Id.
271     * [SQOOP-428] - AvroOutputFormat doesn't support compression even though documentation claims it does
272     * [SQOOP-430] - Duplicate Column problem with reserved words
273     * [SQOOP-433] - Tests are failing on current 0.23 version
274     * [SQOOP-446] - sqoop column terminator "fields-terminated-by" needs to work with any of the following '\007', '0x7', '^G'
275     * [SQOOP-478] - Sqoop export tool unexpectedly re-order Oracle table columns 
276     * [SQOOP-622] - possible import bug with embedded LF (0x0A) in VARCHAR field
277
278
279 Changelog - Sqoop - Version 1.4.0-incubating - 11/29/2011
280
281 ** New Feature
282     * [SQOOP-305] - Support export from Avro Data Files
283     * [SQOOP-313] - Multiple column names to be included in --update-key argument with SQOOP export (update)
284     * [SQOOP-327] - Mixed update/insert export support for OracleManager
285     * [SQOOP-331] - Support boundary query on the command line
286     * [SQOOP-342] - Allow user to override sqoop type mapping
287     * [SQOOP-367] - codegen support free-form query
288
289 ** Improvement
290     * [SQOOP-303] - Use Catalog Tables for PostgresqlManager
291     * [SQOOP-315] - Update Avro version to 1.5.2
292     * [SQOOP-316] - Sqoop user guide should have a troubleshooting section.
293     * [SQOOP-318] - Add support for splittable lzo files with Hive
294     * [SQOOP-320] - Use Information Schema for SQLServerManager
295     * [SQOOP-321] - Support date/time columns for "--incremental append" option
296     * [SQOOP-326] - Updgrade Avro dependency to version 1.5.3
297     * [SQOOP-351] - Sqoop User Guide's troubleshooting section should include Case-Sensitive Catalog Query Errors
298     * [SQOOP-353] - Cleanup the if/else statement in HiveTypes
299     * [SQOOP-354] - SQOOP needs to be made compatible with Hadoop  .23 release
300     * [SQOOP-355] - improve SQOOP documentation of Avro data file support
301     * [SQOOP-357] - To make debugging easier, Sqoop should print out all the exceptions 
302     * [SQOOP-361] - [Docs] $CONDITIONS must be escaped to not allow shells to replace it.
303     * [SQOOP-366] - Sqoop User Guide's troubleshooting section should include MySQL setup instructions
304
305 ** Task
306     * [SQOOP-302] - Use Information Schema for MySQLManager
307     * [SQOOP-309] - Update Sqoop dependency versions
308     * [SQOOP-310] - Review license headers
309     * [SQOOP-369] - Sqoop 1.4.0 release preparation
310
311 ** Sub-task
312     * [SQOOP-370] - Version number for upcoming release.
313     * [SQOOP-371] - Migrate util package to new name space
314     * [SQOOP-374] - Migrate tool and orm packages to new name space
315     * [SQOOP-375] - Migrate metastore and metastore.hsqldb packages to new name space
316     * [SQOOP-376] - Migrate mapreduce package to new name space
317     * [SQOOP-377] - Migrate mapreduce.db package to new name space
318     * [SQOOP-378] - Migrate manager package to new name space
319     * [SQOOP-379] - Migrate lib and io packages to new name space
320     * [SQOOP-380] - Migrate hive and hbase packages to new name space
321     * [SQOOP-381] - Migrate cli and config packages to new name space
322     * [SQOOP-383] - Version tool is not working.
323     * [SQOOP-386] - Namespace migration cleanup
324     * [SQOOP-388] - Add license header to Hive testdata
325     * [SQOOP-389] - Include change log
326
327 ** Bug
328     * [SQOOP-308] - Generated Avro Schema cannot handle nullable fields
329     * [SQOOP-314] - Basic export hangs when target database does not support INSERT syntax with multiple rows of values
330     * [SQOOP-317] - OracleManager should allow working with tables owned by other users.
331     * [SQOOP-319] - The --hive-drop-import-delims option should accept a replacement string
332     * [SQOOP-323] - Support for the NVARCHAR datatype
333     * [SQOOP-325] - Sqoop doesn't build on intellij
334     * [SQOOP-329] - SQOOP doesn't work with the DB2 JCC driver
335     * [SQOOP-330] - Free form query import with column transformation failed without obvious error message
336     * [SQOOP-332] - Cannot use --as-avrodatafile with --query
337     * [SQOOP-336] - Avro import does not support varbinary types
338     * [SQOOP-338] - NPE after specifying incorrect JDBC credentials
339     * [SQOOP-339] - Use of non-portable mknod utility causes build problems on Mac OS X
340     * [SQOOP-340] - Rise exception when both --direct and --as--sequencefile or --as-avrodatafile are given
341     * [SQOOP-341] - Sqoop doesn't handle unsigned ints at least with MySQL
342     * [SQOOP-346] - Sqoop needs to be using java version 1.6 for its source
343     * [SQOOP-349] - A bunch of the fields are wrong in pom.xml 
344     * [SQOOP-358] - Sqoop import fails on netezza nvarchar datatype with --as-avrodatafile
345     * [SQOOP-359] - Import fails with Unknown SQL datatype exception
346     * [SQOOP-364] - Default getCurTimestampQuery() in SqlManager is not working for PostgreSQL
347     * [SQOOP-368] - Resolve ERROR tool.ImportTool: Imported Failed: Duplicate Column identifier specified: 'COLUMN-NAME'
348     * [SQOOP-373] - Can only write to default file system on direct import
349     * [SQOOP-385] - Typo in PostgresqlTest.java regarding configuring postgresql.conf.
350     * [SQOOP-398] - Sqoop to avro saves NUMERIC as strings
351