SQOOP-904: Update Changelog for Sqoop-1.4.3
[sqoop.git] / CHANGELOG.txt
1 Changelog - Sqoop - Version 1.4.3 - 02/20/2012
2
3 ** New Feature
4     * [SQOOP-390] - PostgreSQL connector for direct export with pg_bulkload
5     * [SQOOP-540] - Microsoft SQL Connector doesn't support custom schemas
6     * [SQOOP-601] - Support custom schemas in PostgreSQL Connector
7     * [SQOOP-621] - Requesting support for upsert export with MySQL
8     * [SQOOP-724] - Support Table hints in Microsoft SQL Server
9     * [SQOOP-749] - Exports Using Stored Procedures (Functions)
10     * [SQOOP-767] - Add support for Accumulo
11
12 ** Improvement
13     * [SQOOP-350] - Add support for requiring that a connector be used, otherwise the job should fail
14     * [SQOOP-467] - Add support for Oracle BINARY_FLOAT and BINARY_DOUBLE data types
15     * [SQOOP-579] - Simple refactoring of org.apache.sqoop.manager.DefaultManagerFactory - extract methods for reuse
16     * [SQOOP-580] - Add Open-ended "teardown" routine that is called after the job execution for cleanup
17     * [SQOOP-598] - Document NULL substitution string changes for HIVE import
18     * [SQOOP-603] - Support small intervals in IntegerSplitter implementation
19     * [SQOOP-604] - Easy throttling feature for MySQL exports
20     * [SQOOP-635] - Explaining why it's important to specify weird urandom path in Troubleshooting guide
21     * [SQOOP-638] - Add an optional, simple and extensible validation framework for sqoop
22     * [SQOOP-650] - Add ability to name mapreduce job generated by Sqoop
23     * [SQOOP-653] - Add splitter support for N(LONG)(VAR)CHAR Sql type
24     * [SQOOP-720] - Improve error handling when exporting malformed text data
25     * [SQOOP-726] - Put debugging information into generated SqoopRecord class
26     * [SQOOP-804] - Warn if hive special arguments will be used without --hive-import
27     * [SQOOP-820] - Escape table name in export job only if it's required by connector
28     * [SQOOP-833] - add *.eml "ant eclipse" (IntelliJ import) generated file, to .gitignore
29
30 ** Task
31     * [SQOOP-535] - Support splitting metadata to connector and framework specific
32     * [SQOOP-731] - Move HBase tests to manual tests as they depend on unreleased artifacts
33
34 ** Sub-task
35     * [SQOOP-592] - Change repository location on Sqoop website
36     * [SQOOP-595] - Change repository location in source code
37     * [SQOOP-683] - Documenting sqoop.mysql.export.sleep.ms - easy throttling feature for direct MySQL exports
38
39 ** Bug
40     * [SQOOP-382] - Connection parameters should be used on the mapper
41     * [SQOOP-437] - Preparing release requires manual changes to LICENSE.txt file
42     * [SQOOP-462] - Sqoop hbase Test Compilation failure.
43     * [SQOOP-526] - Unable to resolve maven-scm-providers-standard
44     * [SQOOP-578] - sqoop script calls com.cloudera.sqoop.Sqoop instead of org.apache.sqoop.Sqoop
45     * [SQOOP-582] - Create a template method for job submission in Export/Import JobBase
46     * [SQOOP-585] - Bug when sqoop a join of two tables with the same column name with mysql backend
47     * [SQOOP-586] - ant checkstyle has 2 errors
48     * [SQOOP-597] - PostgreSQL Manager is incorrectly escaping table names
49     * [SQOOP-599] - Import to HBase is not working on secure cluster
50     * [SQOOP-600] - HBase table family presence is not working correctly on new HBase versions
51     * [SQOOP-607] - In-process Hive CLI driver does not work
52     * [SQOOP-609] - 3rd party LobAvroImportTest failures in trunk
53     * [SQOOP-615] - Error in Avro generation
54     * [SQOOP-616] - HBase import/export is not working on non secure cluster where security is available
55     * [SQOOP-617] - User guide is missing argument --fetch-size
56     * [SQOOP-628] - Postgres direct import fails on non-lowercase column names
57     * [SQOOP-636] - ExportJobTestCase.runExport method does not reuse the existing Configuration and SqoopOptions 
58     * [SQOOP-652] - Improve error message generated in  DataDrivenDBInputFormat when no splitter is available
59     * [SQOOP-654] - PostgreSQL direct connector is ignoring --null(-input)string and --null(-input)-non-string arguments
60     * [SQOOP-657] - ant checkstyle results in errors
61     * [SQOOP-687] - org.apache.sqoop.tool.ExportTool.applyOptions invokes applyOutputFormatOptions(..) twice in succession
62     * [SQOOP-706] - Sqoop won't compile on Java 7 due to new methods in ResultSet interface
63     * [SQOOP-721] - Duplicating rows on export when exporting from compressed files.
64     * [SQOOP-725] - Enable HBase tests in sqoop 1
65     * [SQOOP-730] - User Guide Update: Section 3 - Sqoop Releases
66     * [SQOOP-741] - The OracleConnect getTables() implementation needs to restrict tables to current user
67     * [SQOOP-796] - Unable to use new Hadoop environment variables
68     * [SQOOP-808] - SQLExceptions From Batched Exports Aren't Very Helpful
69     * [SQOOP-818] - Missing method setConnManager(Lcom/cloudera/sqoop/manager/ConnManager;)V in ExportJobContContext breaks MS SQL Connector
70     * [SQOOP-821] - Hadoop has changed logic for job id in LocalJobRunner that breaks Lob* tests
71     * [SQOOP-824] - Sqoop code generation in 'update' export mode incompatible with '--columns' option
72     * [SQOOP-825] - Warning for incorrect usage of hive parameters is not checking HIVE_HOME correctly
73     * [SQOOP-829] - Error Messages For --map-column-java Should Be More Useful
74     * [SQOOP-830] - HBase import formatting BigDecimal inconsistently
75     * [SQOOP-840] - Inconsistent java generics declaration for exportwriter classes
76     * [SQOOP-846] - Provide a connector for Netezza appliances
77     * [SQOOP-853] - sqoop list-tables isn't returning the tables that have custom schemas
78     * [SQOOP-854] - pg_bulkload: Return value of pg_bulkload utility is being ignored
79     * [SQOOP-855] - pg_bulkload: NullPointerException will be thrown if user specified invalid path the binary
80     * [SQOOP-860] - NullPointerException when running procedure export against old database
81     * [SQOOP-862] - Hbase import fails if there is a row where all columns are null
82     * [SQOOP-870] - Allow Sqoop to import row key column into HBase
83     * [SQOOP-901] - Allow user to override hardcoded boolean strings in direct PostgreSQL connector
84
85 ** Test
86     * [SQOOP-606] - Increase unit test timeout
87
88
89 Changelog - Sqoop - Version 1.4.2 - 08/07/2012
90
91 ** New Feature
92     * [SQOOP-439] - Released artifacts should embrace unwritten naming policy
93     * [SQOOP-444] - Support incremental import for free form queries
94
95 ** Improvement
96     * [SQOOP-391] - Dependencies should use released versions of Apache Hadoop, HBase, and ZooKeeper
97     * [SQOOP-416] - Allow code-generation arguments with Avro imports
98     * [SQOOP-436] - The --verbose option should enable verbose logging for MapReduce jobs as well
99     * [SQOOP-438] - allow sourcing of sqoop-env.sh to set various environment variables
100     * [SQOOP-440] - Rename CHANGES.txt to CHANGELOG.txt
101     * [SQOOP-442] - Ant target mvn-install is generating pom with dependencies on cloudera version of Hadoop
102     * [SQOOP-443] - Calling sqoop with hive import is not working multiple times due to  kept output directory
103     * [SQOOP-447] - Use release version of Apache Hadoop 0.23.1 in build
104     * [SQOOP-459] - Remove redundant steps in compatibility tests: verifyReadback() method
105     * [SQOOP-461] - Sqoop User Guide's troubleshooting section should include Oracle Connection Errors
106     * [SQOOP-463] - Sqoop User Guide's troubleshooting section should explain how to override the column mapping when importing a table from MySQL into Hive
107     * [SQOOP-464] - Warn when user is importing data into /user/hive/warehouse with flag --hive-import
108     * [SQOOP-465] - BLOB support for Avro import
109     * [SQOOP-483] - Allow target dir to be set to a different name than table name for hive import
110     * [SQOOP-484] - Update troubleshooting guide section about MySQL and TINYINT(1) columns
111     * [SQOOP-487] - InformationSchemaManager.getPrimaryKeyQuery can take a very long time for large mysql table with partitions
112     * [SQOOP-510] - Improve the error message for bad connector files
113     * [SQOOP-522] - Move  printing error "ERROR orm.CompilationManager: Could not rename" to DEBUG
114     * [SQOOP-529] - Enforce usage of --driver and --connection-manager parameters
115     * [SQOOP-538] - Hudson configuration for all hadoop versions
116
117 ** Task
118     * [SQOOP-516] - Sqoop 1.4.2 release preparation
119     * [SQOOP-519] - Update the version of hsqldb decadency to 2.X
120     * [SQOOP-574] - Create a Hadoop-2.0.0 build profile
121
122 ** Sub-task
123     * [SQOOP-470] - Create tests for blob support for Avro import
124
125 ** Bug
126     * [SQOOP-352] - Export of avro data imported from database table (using sqoop import) fails on year
127     * [SQOOP-410] - Direct modes can't import views
128     * [SQOOP-425] - Sqoop invokes ResultSet.isLast() which causes Sybase JDBC driver to hang
129     * [SQOOP-445] - Wrong query for getListColumnsQuery in PostgresqlManager
130     * [SQOOP-448] - boolean fields get nullified during postgres direct import into hive.
131     * [SQOOP-450] - Direct MySQL import can fail when using mysqldump version 5.1.14 or above.
132     * [SQOOP-452] - Mysql free form queries fail if alias is not used.
133     * [SQOOP-453] - Oozie does not work with Sqoop metastore
134     * [SQOOP-454] - Upgrade dependency on HBase version 0.92.0-SNAPSHOT as it was already released
135     * [SQOOP-460] - Verbose logging does not turn the level for correct logger
136     * [SQOOP-468] - Oracle free form queries fail.
137     * [SQOOP-473] - Sqoop import-all-tables fails with MySQL connector
138     * [SQOOP-474] - Split-by specification incorrectly triggers bounding value query
139     * [SQOOP-476] - If table name is a qualified name, Sqoop import fails in DB2
140     * [SQOOP-480] - MS SQL server connector and OraOop connector are incompatible with Sqoop-1.4
141     * [SQOOP-481] - Sqoop import with --hive-import using wrong column names in --columns throws a NPE
142     * [SQOOP-482] - import tool for mysql direct mode reports wrong record number
143     * [SQOOP-488] - Parameter for extended verbose is not working due to migrated code to different module
144     * [SQOOP-489] - Cannot define partition keys for Hive tables created through Sqoop
145     * [SQOOP-490] - Style error in the trunk
146     * [SQOOP-503] - --columns argument support for export
147     * [SQOOP-505] - Trailing space after jar in managers.d/connectors causes file not found
148     * [SQOOP-508] - Sqoop metastore cannot be started due to missing hsqldb jar file
149     * [SQOOP-521] - Import fails on tables with names containing hyphens ( - )
150     * [SQOOP-524] - hsqldb jar update regression
151     * [SQOOP-528] - Remove references to incubator from sources
152     * [SQOOP-536] - Blob import doesn't work with avro 1.7.1
153     * [SQOOP-539] - getPrimaryKeyQuery is very slow in mysql 5.0.77
154     * [SQOOP-571] - Revert SQOOP-519 and SQOOP-524
155
156
157 Changelog - Sqoop - Version 1.4.1-incubating - 02/16/2012
158
159 ** New Feature
160     * [SQOOP-337] - Create Sqoop Logo / Icon
161     * [SQOOP-362] - Allow user to override mapping when doing import to AVRO format
162
163 ** Improvement
164     * [SQOOP-397] - Make Sqoop work with Hadoop 0.23
165     * [SQOOP-411] - Precompile Pattern for replacement of Hive delimiters
166     * [SQOOP-420] - sqoop - compatible with hadoop 1.0.0 
167     * [SQOOP-432] - Enforce writing space after if statement
168
169 ** Task
170     * [SQOOP-396] - publish sqoop artifacts to Apache Maven repo
171     * [SQOOP-400] - Merge 1.4.0 release changes back to trunk
172     * [SQOOP-405] - Enable TestDataDrivenDBInputFormat for Hadoop 0.23 when appropriate
173     * [SQOOP-427] - Sqoop 1.4.1 release preparation
174
175 ** Sub-task
176     * [SQOOP-356] - move documentation generation to the maven build
177     * [SQOOP-372] - License Audit
178     * [SQOOP-412] - Create our own implementation of org.apache.hadoop.conf.Configuration.getInstances
179     * [SQOOP-413] - Port files org.apache.hadoop.mapreduce.lib.{db,input}.* from CDH3/Hadoop-0.21 to sqoop
180
181 ** Bug
182     * [SQOOP-384] - Sqoop is incompatible with Hadoop prior to 0.21
183     * [SQOOP-392] - Build using maven is broklend due to missing class generated by script write-version-info.sh
184     * [SQOOP-393] - Class SqoopOptions was not properly moved
185     * [SQOOP-395] - Incorrect or missing SVN property settings
186     * [SQOOP-409] - hive-drop-import-delims doesn't work with MySQL direct import
187     * [SQOOP-414] - Column names are not guaranteed in order for getColumnNames of OracleManager
188     * [SQOOP-418] - MySQLAuthTest hangs when run against MySQL 5.5.3 or higher version
189     * [SQOOP-421] - User guide should state that when using --direct, hbase params get ignored
190     * [SQOOP-422] - Throw an exception when --direct and hbase* options are used together
191     * [SQOOP-424] - Codegen compilation fails with Hadoop 0.23 
192     * [SQOOP-426] - Build command ant mvn-install generates Sqoop pom with incorrect group Id.
193     * [SQOOP-428] - AvroOutputFormat doesn't support compression even though documentation claims it does
194     * [SQOOP-430] - Duplicate Column problem with reserved words
195     * [SQOOP-433] - Tests are failing on current 0.23 version
196     * [SQOOP-446] - sqoop column terminator "fields-terminated-by" needs to work with any of the following '\007', '0x7', '^G'
197     * [SQOOP-478] - Sqoop export tool unexpectedly re-order Oracle table columns 
198     * [SQOOP-622] - possible import bug with embedded LF (0x0A) in VARCHAR field
199
200
201 Changelog - Sqoop - Version 1.4.0-incubating - 11/29/2011
202
203 ** New Feature
204     * [SQOOP-305] - Support export from Avro Data Files
205     * [SQOOP-313] - Multiple column names to be included in --update-key argument with SQOOP export (update)
206     * [SQOOP-327] - Mixed update/insert export support for OracleManager
207     * [SQOOP-331] - Support boundary query on the command line
208     * [SQOOP-342] - Allow user to override sqoop type mapping
209     * [SQOOP-367] - codegen support free-form query
210
211 ** Improvement
212     * [SQOOP-303] - Use Catalog Tables for PostgresqlManager
213     * [SQOOP-315] - Update Avro version to 1.5.2
214     * [SQOOP-316] - Sqoop user guide should have a troubleshooting section.
215     * [SQOOP-318] - Add support for splittable lzo files with Hive
216     * [SQOOP-320] - Use Information Schema for SQLServerManager
217     * [SQOOP-321] - Support date/time columns for "--incremental append" option
218     * [SQOOP-326] - Updgrade Avro dependency to version 1.5.3
219     * [SQOOP-351] - Sqoop User Guide's troubleshooting section should include Case-Sensitive Catalog Query Errors
220     * [SQOOP-353] - Cleanup the if/else statement in HiveTypes
221     * [SQOOP-354] - SQOOP needs to be made compatible with Hadoop  .23 release
222     * [SQOOP-355] - improve SQOOP documentation of Avro data file support
223     * [SQOOP-357] - To make debugging easier, Sqoop should print out all the exceptions 
224     * [SQOOP-361] - [Docs] $CONDITIONS must be escaped to not allow shells to replace it.
225     * [SQOOP-366] - Sqoop User Guide's troubleshooting section should include MySQL setup instructions
226
227 ** Task
228     * [SQOOP-302] - Use Information Schema for MySQLManager
229     * [SQOOP-309] - Update Sqoop dependency versions
230     * [SQOOP-310] - Review license headers
231     * [SQOOP-369] - Sqoop 1.4.0 release preparation
232
233 ** Sub-task
234     * [SQOOP-370] - Version number for upcoming release.
235     * [SQOOP-371] - Migrate util package to new name space
236     * [SQOOP-374] - Migrate tool and orm packages to new name space
237     * [SQOOP-375] - Migrate metastore and metastore.hsqldb packages to new name space
238     * [SQOOP-376] - Migrate mapreduce package to new name space
239     * [SQOOP-377] - Migrate mapreduce.db package to new name space
240     * [SQOOP-378] - Migrate manager package to new name space
241     * [SQOOP-379] - Migrate lib and io packages to new name space
242     * [SQOOP-380] - Migrate hive and hbase packages to new name space
243     * [SQOOP-381] - Migrate cli and config packages to new name space
244     * [SQOOP-383] - Version tool is not working.
245     * [SQOOP-386] - Namespace migration cleanup
246     * [SQOOP-388] - Add license header to Hive testdata
247     * [SQOOP-389] - Include change log
248
249 ** Bug
250     * [SQOOP-308] - Generated Avro Schema cannot handle nullable fields
251     * [SQOOP-314] - Basic export hangs when target database does not support INSERT syntax with multiple rows of values
252     * [SQOOP-317] - OracleManager should allow working with tables owned by other users.
253     * [SQOOP-319] - The --hive-drop-import-delims option should accept a replacement string
254     * [SQOOP-323] - Support for the NVARCHAR datatype
255     * [SQOOP-325] - Sqoop doesn't build on intellij
256     * [SQOOP-329] - SQOOP doesn't work with the DB2 JCC driver
257     * [SQOOP-330] - Free form query import with column transformation failed without obvious error message
258     * [SQOOP-332] - Cannot use --as-avrodatafile with --query
259     * [SQOOP-336] - Avro import does not support varbinary types
260     * [SQOOP-338] - NPE after specifying incorrect JDBC credentials
261     * [SQOOP-339] - Use of non-portable mknod utility causes build problems on Mac OS X
262     * [SQOOP-340] - Rise exception when both --direct and --as--sequencefile or --as-avrodatafile are given
263     * [SQOOP-341] - Sqoop doesn't handle unsigned ints at least with MySQL
264     * [SQOOP-346] - Sqoop needs to be using java version 1.6 for its source
265     * [SQOOP-349] - A bunch of the fields are wrong in pom.xml 
266     * [SQOOP-358] - Sqoop import fails on netezza nvarchar datatype with --as-avrodatafile
267     * [SQOOP-359] - Import fails with Unknown SQL datatype exception
268     * [SQOOP-364] - Default getCurTimestampQuery() in SqlManager is not working for PostgreSQL
269     * [SQOOP-368] - Resolve ERROR tool.ImportTool: Imported Failed: Duplicate Column identifier specified: 'COLUMN-NAME'
270     * [SQOOP-373] - Can only write to default file system on direct import
271     * [SQOOP-385] - Typo in PostgresqlTest.java regarding configuring postgresql.conf.
272     * [SQOOP-398] - Sqoop to avro saves NUMERIC as strings
273