5 years agoUpdate source files with ASF Licenses; Add ASF badge to README. (#1) master
Matt Rutkowski [Fri, 14 Jul 2017 19:04:59 +0000 (14:04 -0500)] 
Update source files with ASF Licenses; Add ASF badge to README. (#1)

5 years agoCreate
Matt Rutkowski [Wed, 25 Jan 2017 19:49:36 +0000 (13:49 -0600)] 

6 years agoTypo in shell script condition
glikson [Fri, 30 Sep 2016 21:06:32 +0000 (17:06 -0400)] 
Typo in shell script condition

6 years agoAdded automated 'matos' package creation if needed
glikson [Fri, 30 Sep 2016 21:04:58 +0000 (17:04 -0400)] 
Added automated 'matos' package creation if needed

6 years agoCombine "create" and "update" in the same script
glikson [Fri, 30 Sep 2016 20:51:12 +0000 (16:51 -0400)] 
Combine "create" and "update" in the same script

6 years agoCreate aux folders on demand to simplify build prereqs
glikson [Fri, 30 Sep 2016 20:22:46 +0000 (16:22 -0400)] 
Create aux folders on demand to simplify build prereqs

6 years agoUpdated readme to reflect the option to automate the flow
glikson [Mon, 19 Sep 2016 22:21:25 +0000 (18:21 -0400)] 
Updated readme to reflect the option to automate the flow

6 years agoAdded javascript wrapper for 'batch' designed to work in a sequence after 'monitor'
glikson [Mon, 19 Sep 2016 22:08:41 +0000 (18:08 -0400)] 
Added javascript wrapper for 'batch' designed to work in a sequence after 'monitor'

Expected input params:
- owPath (e.g., /
- last
- committed

The sequence can be triggered via timer/cron

6 years agoMigrated to Kafka client 0.10
glikson [Mon, 12 Sep 2016 08:25:04 +0000 (04:25 -0400)] 
Migrated to Kafka client 0.10

Removed dependency on MH-specific auth

Signed-off-by: glikson <>
6 years agoUpdated rejar script to match the new repository name
glikson [Sun, 11 Sep 2016 15:59:23 +0000 (11:59 -0400)] 
Updated rejar script to match the new repository name

The names of jar produced by gradle are based on repository name

6 years agoMerge branch 'master' of
glikson [Sun, 11 Sep 2016 15:45:08 +0000 (11:45 -0400)] 
Merge branch 'master' of

6 years agoRelease
Alex Glikson [Mon, 8 Aug 2016 21:00:31 +0000 (00:00 +0300)] 

6 years ago# This is a combination of 28 commits.
Alex Glikson [Mon, 8 Aug 2016 21:00:31 +0000 (00:00 +0300)] 
# This is a combination of 28 commits.
# The first commit's message is:
# The 2nd commit message will be skipped:

# Update

# The 3rd commit message will be skipped:

# Added gradle & eclipse config

# The 4th commit message will be skipped:

# Formatting improvement in

# The 5th commit message will be skipped:

# Fix path in

# The 6th commit message will be skipped:

# Moved Whisk's main method to the main Fetcher class

# The 7th commit message will be skipped:

# Added 'topic' and 'appid' as arguments
# Optional for whisk, mandatory for regular java invocation
# +minor editing

# The 8th commit message will be skipped:

# added .gradle to gitignore

# The 9th commit message will be skipped:

# removed .gradle files

# The 10th commit message will be skipped:

# removed run folder

# The 11th commit message will be skipped:

# added run folder to gitignore

# The 12th commit message will be skipped:

# Split mhub action into 'mhub-wrtier' action and 'mhub-fetcher' action

# The 13th commit message will be skipped:

# Updated gradle (and readme) to create 2 separate jars
# This makes the build, local invocation and whisk action instantiation more streightforward

# The 14th commit message will be skipped:

# Added start/stop offsets and processor to fetcher, eliminated 'sleep' delays
# - added startOffset and stopOffset parameters for fetcher
# - added pluggable 'recordsProcessor'
# - replaced large 'sleep' delays and timeouts with listener and fine-grained loop delays

# The 15th commit message will be skipped:

# Added simple offsets monitor program
# Returns last offset in a topic/partition, as well as last committed offset
# Invocation of 'writer' increases the last offset, while invocation of 'fetcher'
# (with proper offset range) updates 'loast committed offset' returned by the monitor

# The 16th commit message will be skipped:

# Updated with details about the monitor

# The 17th commit message will be skipped:

# Fixed the 'monitor' program, and several related issues
# Divided the monitorr into 2 consumer threads: 1) 'latest', 2) 'committed'.
# The former subscribes with own consumerid, the latter doesn't subscribe/assign at all.

# The 18th commit message will be skipped:

# Package structure refactoring

# The 19th commit message will be skipped:

# Updated with invocation flow for the new monitor

# The 20th commit message will be skipped:

# Typo in

# The 21st commit message will be skipped:

# Fixes in logging and Whisk setup documentation

# The 22nd commit message will be skipped:

# Few typos

# The 23rd commit message will be skipped:

# fixed few readme formatting issues

# The 24th commit message will be skipped:

# Applied Eclipse formatting, replaced spaces with tabs
# For consistent viewing at github

# The 25th commit message will be skipped:

# A bit more formatting, default param values aligned with readme

# The 26th commit message will be skipped:

# Added 'numRecords' param to 'writer' action
# Default is 50

# The 27th commit message will be skipped:

# added simple MHub2ObStor action
# Reads messages from message hub and writes them in a batch to object storage

# The 28th commit message will be skipped:

# Updated gradle build for MH2OS action

6 years agoInitial version of the modified message-hub-ssl-sample to work from a Whisk action
glikson [Mon, 8 Aug 2016 20:37:00 +0000 (16:37 -0400)] 
Initial version of the modified message-hub-ssl-sample to work from a Whisk action

Single jar (gradle, resources, auth, etc), short invocation (10 seconds), Whisk action wrapper (incl. context class loader fix), cleanup, etc

The whisk action returns last committed offset.

Known issue: when attempting to upload to Whisk, the jar scanning for main method takes about 30 minutes