Updating CHANGELOG.txt files with recent fixes
[sqoop.git] / CHANGELOG.txt
1 Release 1.99.2
2
3   SUB-TASK
4
5     SQOOP-831: Unit test for common module
6
7     SQOOP-861: Sqoop2: Integration: Create basic integration infrastructure
8
9     SQOOP-882: Sqoop2 integration: Auxiliary classes for various database support
10
11     SQOOP-896: Sqoop2: Remove PrefixContext dependency in Execution engine
12
13     SQOOP-908: Sqoop2 integration: Create MySQL and PostgreSQL database providers
14
15     SQOOP-909: Sqoop2 integration: Create Oracle and Microsoft SQL Server database providers
16
17     SQOOP-925: Sqoop2: Devguide: Describe client API for embedding Sqoop client in applications
18
19     SQOOP-930: Sqoop2: Devguide: Building and setting up developer environment
20
21     SQOOP-939: Sqoop2: devguide: Document how to open project in Eclipse
22
23     SQOOP-946: Sqoop2: Integration: Enhance the POC test case
24
25     SQOOP-953: Sqoop2: Integration: Schema support
26
27     SQOOP-987: Exclude mockito jars from being copied into the sqoop2 distribution
28
29   BUG
30
31     SQOOP-746: Sqoop2: Mapreduce job should have running with speculative execution disabled
32
33     SQOOP-783: Sqoop2: Merge HdfsSequenceExportExtractor and HdfsTextExportExtractor to one Extractor
34
35     SQOOP-799: Sqoop2: Change SqoopConnector interface to abstract class
36
37     SQOOP-802: Sqoop2: Convert main "Manager" classes to singletons.
38
39     SQOOP-811: Client shell variable substitution for recent commands
40
41     SQOOP-812: Sqoop2: Serialization of Configuration objects to and from json is not working properly
42
43     SQOOP-813: Sqoop2: LoaderExecutor might get into deadlock when exception is raised outside Loader itself
44
45     SQOOP-815: Sqoop2: Get version for client requires working connection to server
46
47     SQOOP-822: Sqoop2: Git repository revision is not fetched
48
49     SQOOP-835: Sqoop2: Do not recreate package-info.java each compilation
50
51     SQOOP-843: Sqoop2: Generic JDBC connector is committing transaction on export with autoCommit on
52
53     SQOOP-844: Sqoop2: HdfsExportPartitioner is not always respecting maximal number of partitions
54
55     SQOOP-845: Sqoop2: Improve Generic JDBC validator
56
57     SQOOP-850: Sqoop2: Move server initialization from server module to core
58
59     SQOOP-851: Sqoop2: NullPointerException in Mapreduce Submission engine initialization
60
61     SQOOP-852: Sqoop2: Mapreduce submission engine is not closing opened JobClient object
62
63     SQOOP-858: Sqoop2: Add validation messages on form level
64
65     SQOOP-865: Sqoop2: Client request cache is incorrectly setting the framework validations
66
67     SQOOP-867: Sqoop2 client shows wrong msg
68
69     SQOOP-868: Mismatched msg in sqoop2 client
70
71     SQOOP-871: Connector-level job-specific prop gives wrong help msg
72
73     SQOOP-872: sqoop2 client 'show framework' command isn't resolving the show.prompt_framework_opts prop
74
75     SQOOP-873: Sqoop2 build should ignore Intellij files
76
77     SQOOP-874: Sqoop2: Provide log4j configuration for client
78
79     SQOOP-875: Sqoop2: ClassUtils.instantiate class should not be logging on ERROR level
80
81     SQOOP-879: Sqoop2: NPE when deleting job object that do not have associated any submissions
82
83     SQOOP-880: Sqoop2: NPE when stopping job that was never executed
84
85     SQOOP-881: Sqoop2: Change default port from 8080
86
87     SQOOP-884: Sqoop2: Disable interactive client commands in batch mode
88
89     SQOOP-887: Sqoop2: Move string constants from FormDisplayer to resource file
90
91     SQOOP-888: Sqoop2: Move out checking of special condition token to Validator in Generic JDBC Manager
92
93     SQOOP-889: Sqoop2: Move tomcat related properties from dist/pom.xml to root pom.xml
94
95     SQOOP-892: Sqoop2: Validate acceptable number of mappers and reducers
96
97     SQOOP-893: Fix job submission progress percentage
98
99     SQOOP-894: Sqoop2: Increase counter and group size in derby repository
100
101     SQOOP-905: Sqoop 2: Job submission shows wrong date format in client console
102
103     SQOOP-941: Sqoop2: Do not send sensitive values from server to client
104
105     SQOOP-942: Sqoop2: Refactore code repetition in SqoopRequests objects
106
107     SQOOP-952: Sqoop2: Create job function requires uppercased type name
108
109     SQOOP-966: Sqoop2: Remove placeholder class IgnoredForm
110
111     SQOOP-980: Sqoop2: Show connection and job command hung
112
113   IMPROVEMENT
114
115     SQOOP-647: Provide facility to cache server responses on client side
116
117     SQOOP-660: Improve user experience in displaying connection/job metadata
118
119     SQOOP-678: Sqoop2: Add counters handling to map reduce submission engine
120
121     SQOOP-682: Sqoop2: Use templating in job.etl classes
122
123     SQOOP-723: Add possibility to have synchronous submissions in Sqoop 2
124
125     SQOOP-750: Sqoop2: Introduce show option client command
126
127     SQOOP-803: Sqoop2: Add gpg profile to pom file so that we can easily deploy artifacts to mvn repository
128
129     SQOOP-806: Sqoop2: Put "creation" and "lastUpdate" date to Connection and Job objects
130
131     SQOOP-807: Sqoop2: Verify whether job object can be safely removed prior removing
132
133     SQOOP-814: Sqoop2: Start using configuration objects in Generic JDBC Connector
134
135     SQOOP-826: Sqoop2: Add log4j test configuration to all maven modules
136
137     SQOOP-833: add *.eml "ant eclipse" (IntelliJ import) generated file, to .gitignore
138
139     SQOOP-841: Sqoop2: Remove final keyword from manager classes
140
141     SQOOP-842: Sqoop2: Put partition to template in Extractor as well
142
143     SQOOP-863: Sqoop2: Introduce ProgressThread into Extractor and Loader
144
145     SQOOP-864: Sqoop2: Introduce ETL context objects
146
147     SQOOP-866: Sqoop2: Introduce framework validations
148
149     SQOOP-876: Expose the xid and cid when show status of job in sqoop2 client
150
151     SQOOP-877: Sqoop2: Increase field size of output.outputDirectory property value from 25 to 50
152
153     SQOOP-899: Sqoop2: Properly document REST endpoints in the server handler classes
154
155     SQOOP-900: Sqoop2: Introduce human readable coding style for queries stored in DerbySchemaQuery
156
157     SQOOP-919: Sqoop2: Improve Form API for simple java handling
158
159     SQOOP-920: Sqoop2: Print out warnings in client shell for objects created with status ACCEPTABLE
160
161     SQOOP-922: Sqoop2: Shell commands are throwing exceptions when invalid function is specified
162
163     SQOOP-947: Sqoop2: Introduce the concept of "sensitivity" input to all supported metadata structures
164
165     SQOOP-967: Sqoop2: Introduce dummy configuration key to easily identify Sqoop2 job
166
167     SQOOP-972: Sqoop2: Load server URL from environment in shell
168
169     SQOOP-975: Sqoop2: Port conflict problems in tomcat
170
171     SQOOP-986: Sqoop2: Add detection of local mode to mapreduce submission engine
172
173   NEW FEATURE
174
175     SQOOP-643: Sqoop2: Implement simple listings for connector and job objects
176
177     SQOOP-664: Send user name as HTTP header in client to server communication
178
179     SQOOP-785: Sqoop2: Add splitter implementation for NUMERIC/DECIMAL type
180
181     SQOOP-895: Sqoop2: Do not serialize framework and connector configurations into mapreduce configuration object
182
183     SQOOP-903: Sqoop2: Add schema support to Generic JDBC Connector
184
185     SQOOP-918: Sqoop2: Introduce client API and change Sqoop shell to use it
186
187   TASK
188
189     SQOOP-805: Sqoop2: Document show option function in CommandClientGuide
190
191     SQOOP-809: Sqoop2: Remove old deprecated comments from distribution pom file
192
193 Release 1.99.1
194
195   SUB-TASK
196
197     SQOOP-680: Re enable unit tests for map reduce execution engine
198
199     SQOOP-698: Document installation procedure for Sqoop 2
200
201     SQOOP-699: Create content for User guide for Sqoop 2
202
203     SQOOP-700: Provide examples to Sqoop 2 user guide
204
205     SQOOP-701: Create content for Sqoop 2 Developer guide
206
207     SQOOP-703: Move sqoop 2 documentation to top level directory in binary artefact
208
209     SQOOP-708: Create documentation for Sqoop 2 client
210
211     SQOOP-713: Introduce maven profiles for different Hadoop versions
212
213     SQOOP-714: Make map reduce related code to be compatible with Hadoop 1
214
215     SQOOP-715: Add support for Hadoop 1 to addtowar.sh script in Sqoop 2
216
217     SQOOP-742: Put 5 minutes demo on index page in Sqoop 2 documentation
218
219     SQOOP-753: Sqoop2: Update top level README file
220
221     SQOOP-755: Sqoop2: Provide license file with license information for all artifacts included in binary release
222
223     SQOOP-756: Sqoop2: Exclude junit jar from our binary artifact
224
225     SQOOP-757: Sqoop2: Disable maven reports project wise
226
227     SQOOP-758: Sqoop2: Generate documentation in package goal
228
229     SQOOP-786: Sqoop2: Include jars from WAR archive in LICENSE.txt file
230
231     SQOOP-787: Sqoop2: Provide CHANGELOG.txt file
232
233     SQOOP-800: Sqoop2: Update NOTICE file
234
235   BUG
236
237     SQOOP-511: Need to set persistent id for connector if in repository already
238
239     SQOOP-537: TestMPersistableEntity does not contain license header
240
241     SQOOP-596: Implement connection resource end-to-end
242
243     SQOOP-608: Implement job resource from end to end
244
245     SQOOP-631: Sqoop2 client is not working on Mac OS X
246
247     SQOOP-632: Sqoop 2 client help text contains link to old incubator page
248
249     SQOOP-644: Remove DISCLAMER.txt file from branch sqoop2
250
251     SQOOP-651: adding .gitattributes to prevent CRLF and LF mismatches for source and text files
252
253     SQOOP-655: Generic JDBC connector for export
254
255     SQOOP-671: Mapreduce counters are not used in generated mapreduce jobs
256
257     SQOOP-673: Mapreduce submission manager should not call update() on finished submissions
258
259     SQOOP-674: Sqoop2: Exceptions in special map reduce threads can cause mapreduce job to freeze
260
261     SQOOP-686: Empty job name will result in NPE during job submission
262
263     SQOOP-688: Add netbeans files to gitignore and rat
264
265     SQOOP-690: Fix threading issues in SqoopOutputFormatLoadExecutor
266
267     SQOOP-692: Move execution specific error codes from CoreError to it's own error codes class
268
269     SQOOP-693: Intermediate data format support for export
270
271     SQOOP-695: Change default host on client to "localhost"
272
273     SQOOP-696: Client command submission status will finish gracefully when executed for non existing job
274
275     SQOOP-702: Refactor OutputLoadExecutor
276
277     SQOOP-705: Framework-defined text/sequence partitioner/extractor for HDFS
278
279     SQOOP-707: Update developer list in Sqoop 2 pom file
280
281     SQOOP-710: Remove dependency on unreleased commons-cli 1.3 from Sqoop 2 client
282
283     SQOOP-727: We should use more strict regular expressions in addtowar.sh script
284
285     SQOOP-728: Increase varchar limits for external link and exceptions in Derby repository
286
287     SQOOP-729: SubmissionDisplayer should display Stack Trace only in Verbose mode
288
289     SQOOP-738: Sqoop is not importing all data in Sqoop 2
290
291     SQOOP-759: Sqoop2: Loading client resource file is failing on ResourceBundle not found exception
292
293     SQOOP-760: Sqoop2: Fix invalid \h escape sequence in client resource file
294
295     SQOOP-761: HDFSTextExportExtractor loses lines around partition boundaries
296
297     SQOOP-764: Sqoop2: Fix typo in client resource file "prompt.conn_id"
298
299     SQOOP-765: Sqoop2: JDBC repository is incorrectly checking if job exists in update handler
300
301     SQOOP-766: Sqoop2: Fix client resources
302
303     SQOOP-768: Sqoop2: Compilation on hadoop profile 100 will fail
304
305     SQOOP-770: Sqoop2: executable scripts in binary distribution tarball are not executable
306
307     SQOOP-771: Sqoop2: Improve addtowar.sh
308
309     SQOOP-772: OutOfMemory from document generation
310
311     SQOOP-774: Sqoop2: exception is thrown when creating a connection object if connectionString starts with an empty space
312
313     SQOOP-775: Sqoop2: addtowar.sh script is silently ignoring unknown arguments
314
315     SQOOP-778: Remove empty SqoopUserGuide and SqoopDeveloperGuide
316
317     SQOOP-779: Sqoop2: NPE when JobConnectorContext has a null value
318
319     SQOOP-780: Sqoop2: GENERIC_JDBC_CONNECTOR_0011:The type is not supported - 2
320
321     SQOOP-781: Sqoop2: Improve logging in GenericJdbcImportInitializer
322
323     SQOOP-782: Update comment to reflect that TestHdfsExtract works fine.
324
325     SQOOP-784: Sqoop2: Creating job for connection with id > 1 will results in NullPointerException
326
327     SQOOP-788: Sqoop2: Import sometimes duplicate some data
328
329     SQOOP-789: Fix Hadoop-1 build
330
331     SQOOP-790: Remove flakiness from TestSqoopOutputformatLoadExecutor
332
333   IMPROVEMENT
334
335     SQOOP-306: Move to a maven build
336
337     SQOOP-347: Pull versions into properties in the pom.xml
338
339     SQOOP-507: Update dist/pom.xml so that maven doesn't download tomcat every time
340
341     SQOOP-525: Enable dist package build by default
342
343     SQOOP-534: Add ability to find out if MPersistableEntity do already have persistent ID 
344
345     SQOOP-545: Add IntelliJ IDEA files to RAT exclude
346
347     SQOOP-567: Support connection validation in JDBC repository
348
349     SQOOP-568: Configuration reload period should be configurable in PropertiesConfigurationProvider
350
351     SQOOP-573: Do not change working directory for client
352
353     SQOOP-581: Client should be sending used locale back to sqoop server to retrieve locale aware data
354
355     SQOOP-590: Switch Sqoop 2 to Apache Tomcat 6 For Better Integration With Apache Bigtop
356
357     SQOOP-612: Provide unit tests for derby metadata repository
358
359     SQOOP-618: Remove most important FindBugs warnings and errors in Sqoop 2
360
361     SQOOP-619: Display user persistent id of newly created connection and job objects
362
363     SQOOP-620: Introduce name to connection and job objects
364
365     SQOOP-625: Enforce checking advertised maximal size for MStringInput
366
367     SQOOP-629: Provide better exception handling during server-client communication
368
369     SQOOP-630: Check if connection/job is in use before deleting as deleting used entity might result in FK violations
370
371     SQOOP-642: Provide resource reading for both interactive and batch mode processing
372
373     SQOOP-645: Separate job engine to separate maven module
374
375     SQOOP-646: Provide support for "set" metadata in Sqoop 2
376
377     SQOOP-648: Move all string message in client to resource file for easy translation
378
379     SQOOP-662: Introduce pluggable configuration objects
380
381     SQOOP-667: We should persist in repository all properties of MSubmission metadata class
382
383     SQOOP-676: Add lastUpdateDate to MSubmission
384
385     SQOOP-677: Destroyer needs to be called from OutputCommitter
386
387     SQOOP-679: Wrap exception to MSubmission metadata object
388
389     SQOOP-681: Split configuration in Generic JDBC connector between job and connection
390
391     SQOOP-684: Encode type of the job into executed map reduce job
392
393     SQOOP-694: Introduce client "verbose" mode
394
395     SQOOP-704: Exclude patches from RAT checks in Sqoop2
396
397     SQOOP-719: Improve user experience with addtowar.sh script in Sqoop 2
398
399     SQOOP-722: Improve Sqoop 2 packaging
400
401     SQOOP-734: Change ConnectorBean to send JSON objects rather than sets of arrays
402
403     SQOOP-735: Introduce output format option to Sqoop 2 import
404
405     SQOOP-737: Give user option to set number of extractors and loaders
406
407     SQOOP-762: Sqoop2: Improve logging in mapreduce execution engine
408
409     SQOOP-776: Sqoop2: show connection command shows password in plain text
410
411   NEW FEATURE
412
413     SQOOP-531: Define connector execution lifecycle
414
415     SQOOP-532: Define intefaces for connector-defined execution classes
416
417     SQOOP-533: Intermediate data format support for import
418
419     SQOOP-588: MapReduce infrastructure for executing ETL framework
420
421     SQOOP-589: Framework-defined text/sequence loaders for HDFS
422
423     SQOOP-605: Generic JDBC connector for import
424
425     SQOOP-610: Job submission engine for import
426
427     SQOOP-613: Add support for integer type to metadata model
428
429     SQOOP-614: Provide client side ability to clone connection or job object
430
431     SQOOP-623: Add support for loading Map inputs in Sqoop2
432
433     SQOOP-624: Add test coverage plugin to root pom file
434
435     SQOOP-627: Convert forms structures on connector level to configuration classes
436
437     SQOOP-656: End to end submission engine
438
439     SQOOP-658: Solve hadoop dependency distribution/loading on server side
440
441     SQOOP-666: Introduce execution engine
442
443     SQOOP-712: Add support of Hadoop 1.x to Sqoop 2
444
445     SQOOP-716: Create server notification REST callback to get information if job has update
446
447     SQOOP-739: Connectors in Sqoop 2 should be versionable
448
449     SQOOP-740: Provide export submission engine implementation for Sqoop 2
450
451   TASK
452
453     SQOOP-491: Create configuration directory with documented configuration files under Sqoop2.
454
455     SQOOP-492: Implement a documentation system for Sqoop2
456
457     SQOOP-493: Distribution build for Sqoop2 should contain sources
458
459     SQOOP-494: Create client infrastructure to allow interactive selection of options of a command.
460
461     SQOOP-495: Support for parameter substitution in the client shell.
462
463     SQOOP-496: Refine the interface for Connector and Repository to support connection metadata
464
465     SQOOP-497: Enhance repository interface to support Connection CRUD
466
467     SQOOP-501: Infrastructure to support input of sensitive information like passwords in the client shell
468
469     SQOOP-502: Implement show connector command end-to-end
470
471     SQOOP-512: Intermediate data representation
472
473     SQOOP-514: Layout changes for Sqoop 2 distribution
474
475     SQOOP-544: Split job metadata for different job types (import, export)
476
477     SQOOP-576: Implement command "show framework" end to end
478
479     SQOOP-577: Design storage in derby repository for connect and job metadata
480
481     SQOOP-584: Create facility to validate user supplied connection and job forms
482
483     SQOOP-697: Put together documentation for Sqoop 2
484
485     SQOOP-733: Remove unnecessary version repetition in Sqoop 2 pom files
486
487     SQOOP-747: Sqoop 1.99.1 release preparation 
488