12 days agoJCLOUDS-1617: Fix HTTPS support in OkHttpCommandExecutorService (#153) master
SATYANAN-ANAND [Thu, 15 Sep 2022 15:50:36 +0000 (21:20 +0530)] 
JCLOUDS-1617: Fix HTTPS support in OkHttpCommandExecutorService (#153)

* JCLOUDS-1617: Fix HTTPS support in OkHttpCommandExecutorService

Added support for  proxy server type = HTTPS

* Update DelegatingSocketFactory.java

Added java doc

12 days agoBump snakeyaml from 1.26 to 1.31 in /apis/byon (#154)
dependabot[bot] [Thu, 15 Sep 2022 11:16:09 +0000 (13:16 +0200)] 
Bump snakeyaml from 1.26 to 1.31 in /apis/byon (#154)

Bumps [snakeyaml](https://bitbucket.org/snakeyaml/snakeyaml) from 1.26 to 1.31.
- [Commits](https://bitbucket.org/snakeyaml/snakeyaml/branches/compare/snakeyaml-1.31..snakeyaml-1.26)

- dependency-name: org.yaml:snakeyaml
  dependency-type: direct:production

Signed-off-by: dependabot[bot] <support@github.com>
Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>
7 weeks agoDeep copy Blob in LocalBlobStore.getBlob
Andrew Gaul [Mon, 1 Aug 2022 12:19:15 +0000 (21:19 +0900)] 
Deep copy Blob in LocalBlobStore.getBlob

ByteSourcePayload.openStream is not thread safe and lack of
synchronization can throw ArrayIndexOutOfBoundsExceptions.  Instead
deep copy the underlying Payload.  Fixes gaul/s3proxy#303.

7 weeks agoUpgrade to jax-rs 2.1.1
Andrew Gaul [Fri, 25 Aug 2017 06:46:58 +0000 (23:46 -0700)] 
Upgrade to jax-rs 2.1.1

Also address constant TODO.

7 weeks agoJCLOUDS-1616: Proxy credentials validation is missing in OkHttpCommandExecutorService...
SATYANAN-ANAND [Tue, 2 Aug 2022 12:39:34 +0000 (05:39 -0700)] 
JCLOUDS-1616: Proxy credentials validation is missing in OkHttpCommandExecutorService API request

Added support for credentials validation

7 weeks agoUpgrade to testng 7.5
Andrew Gaul [Sun, 31 Jul 2022 10:12:29 +0000 (19:12 +0900)] 
Upgrade to testng 7.5

Requires upgrading surefire as well.

7 weeks agoAddress testng cyclic dependency
Andrew Gaul [Sun, 31 Jul 2022 11:08:27 +0000 (20:08 +0900)] 
Address testng cyclic dependency

Uncovered by newer versions of testng.

7 weeks agoSpecify missing DataProviders
Andrew Gaul [Sun, 31 Jul 2022 11:08:17 +0000 (20:08 +0900)] 
Specify missing DataProviders

Uncovered by newer versions of testng.

7 weeks agoAnnotate public non-test methods
Andrew Gaul [Sun, 31 Jul 2022 10:29:29 +0000 (19:29 +0900)] 
Annotate public non-test methods

Newer versions of TestNG try to run these.

7 weeks agoAnnotate test methods as singleThreaded
Andrew Gaul [Sun, 31 Jul 2022 10:19:52 +0000 (19:19 +0900)] 
Annotate test methods as singleThreaded

Newer versions of testng deprecate sequential.

8 weeks agoUpgrade to assertj 3.23.1
Andrew Gaul [Sun, 31 Jul 2022 06:28:55 +0000 (15:28 +0900)] 
Upgrade to assertj 3.23.1

Enabled by requiring Java 8.  Also fix some minor API breakage.

3 months agoJCLOUDS-1609: Upgrade to BouncyCastle 1.71
Andrew Gaul [Sun, 12 Jun 2022 10:50:37 +0000 (19:50 +0900)] 
JCLOUDS-1609: Upgrade to BouncyCastle 1.71

Release notes:


3 months agoJCLOUDS-1602: Upgrade to Jetty 9.4.46
Andrew Gaul [Sun, 12 Jun 2022 04:04:02 +0000 (13:04 +0900)] 
JCLOUDS-1602: Upgrade to Jetty 9.4.46

Remove BaseJettyTest which BaseMockWebServerTest superseded.

3 months agoJCLOUDS-1603: Upgrade to Guava 31.1
Andrew Gaul [Sun, 12 Jun 2022 04:42:08 +0000 (13:42 +0900)] 
JCLOUDS-1603: Upgrade to Guava 31.1

3 months agoBump logback-core from 1.1.2 to 1.2.9 in /project
dependabot[bot] [Sun, 12 Jun 2022 03:41:38 +0000 (03:41 +0000)] 
Bump logback-core from 1.1.2 to 1.2.9 in /project

Bumps logback-core from 1.1.2 to 1.2.9.

- dependency-name: ch.qos.logback:logback-core
  dependency-type: direct:production

Signed-off-by: dependabot[bot] <support@github.com>
3 months agoBump httpclient from 4.3.6 to 4.5.13 in /drivers/apachehc
dependabot[bot] [Mon, 18 Apr 2022 13:15:28 +0000 (13:15 +0000)] 
Bump httpclient from 4.3.6 to 4.5.13 in /drivers/apachehc

Bumps httpclient from 4.3.6 to 4.5.13.

- dependency-name: org.apache.httpcomponents:httpclient
  dependency-type: direct:production

Signed-off-by: dependabot[bot] <support@github.com>
3 months agoBump logback-classic from 1.1.2 to 1.2.0 in /project
dependabot[bot] [Mon, 18 Apr 2022 13:19:31 +0000 (13:19 +0000)] 
Bump logback-classic from 1.1.2 to 1.2.0 in /project

Bumps logback-classic from 1.1.2 to 1.2.0.

- dependency-name: ch.qos.logback:logback-classic
  dependency-type: direct:production

Signed-off-by: dependabot[bot] <support@github.com>
4 months agoUpdate README copyright dates and AzureBlob README
Ikky [Wed, 4 May 2022 01:23:05 +0000 (09:23 +0800)] 
Update README copyright dates and AzureBlob README

5 months agoJCLOUDS-1601: Upgrade to log4j 2.17.2
Andrew Gaul [Sun, 17 Apr 2022 14:01:44 +0000 (23:01 +0900)] 
JCLOUDS-1601: Upgrade to log4j 2.17.2

Release notes:


5 months agoJCLOUDS-1604: Upgrade to AutoFactory 1.0.1
Andrew Gaul [Sun, 17 Apr 2022 13:59:01 +0000 (22:59 +0900)] 
JCLOUDS-1604: Upgrade to AutoFactory 1.0.1

6 months agoNext development version 2.6.0-SNAPSHOT
Andrew Gaul [Sat, 26 Mar 2022 09:30:06 +0000 (18:30 +0900)] 
Next development version 2.6.0-SNAPSHOT

6 months agoJCLOUDS-1599 - Add support for GLACIER_IR storage class
ramahin [Tue, 8 Mar 2022 20:47:20 +0000 (13:47 -0700)] 
JCLOUDS-1599 - Add support for GLACIER_IR storage class

7 months agoJCLOUDS-1598: Support Metric Alert Operation (#134)
SATYANAN-ANAND [Fri, 25 Feb 2022 18:12:43 +0000 (10:12 -0800)] 
JCLOUDS-1598: Support Metric Alert Operation (#134)

7 months agoJCLOUDS-1597: Support for Alerts (#133)
SATYANAN-ANAND [Mon, 21 Feb 2022 10:37:50 +0000 (02:37 -0800)] 
JCLOUDS-1597: Support for Alerts (#133)

7 months agoUpdate AzureComputeApi.java
SATYANAN-ANAND [Tue, 1 Feb 2022 14:26:48 +0000 (06:26 -0800)] 
Update AzureComputeApi.java

7 months agoJCLOUDS-1596: Support Activity Log Alert Operations
SATYANAN-ANAND [Tue, 1 Feb 2022 11:29:47 +0000 (03:29 -0800)] 
JCLOUDS-1596: Support Activity Log Alert Operations

8 months agoJCLOUDS-1594: Allow overriding S3 signer
Andrew Gaul [Fri, 31 Dec 2021 10:53:04 +0000 (19:53 +0900)] 
JCLOUDS-1594: Allow overriding S3 signer

Previously s3 always used v2 and aws-s3 always used v4.  Now s3
defaults to v2 and can override to v4.  Note that this does not change

9 months agoJCLOUDS-1591: Fix NPE in ClientCredentialsClaims
SATYANAN-ANAND [Mon, 27 Dec 2021 07:26:28 +0000 (12:56 +0530)] 
JCLOUDS-1591: Fix NPE in ClientCredentialsClaims

9 months agoJCLOUDS-1589: Upgrade to log4j 2.17.0
Andrew Gaul [Sun, 19 Dec 2021 00:29:44 +0000 (09:29 +0900)] 
JCLOUDS-1589: Upgrade to log4j 2.17.0

This addresses a high severity CVE:


9 months agoJCLOUDS-1590: Promote glacier to core 127/head
Andrew Gaul [Fri, 17 Dec 2021 05:00:12 +0000 (14:00 +0900)] 
JCLOUDS-1590: Promote glacier to core

9 months agoMerge remote-tracking branch 'jclouds-labs-aws-local/promote-glacier-moved' into...
Andrew Gaul [Fri, 17 Dec 2021 04:55:10 +0000 (13:55 +0900)] 
Merge remote-tracking branch 'jclouds-labs-aws-local/promote-glacier-moved' into promoted-glacier

9 months agoJCLOUDS-1589: Upgrade to log4j 2.16.0
Andrew Gaul [Fri, 17 Dec 2021 04:33:38 +0000 (13:33 +0900)] 
JCLOUDS-1589: Upgrade to log4j 2.16.0

This addresses a critical CVE:


9 months agoJCLOUDS-1589: Upgrade to log4j 2.16.0
Andrew Gaul [Thu, 16 Dec 2021 13:47:46 +0000 (22:47 +0900)] 
JCLOUDS-1589: Upgrade to log4j 2.16.0

This addresses a critical CVE:


10 months agoJCLOUDS-1588: Bump google gson to 2.8.9 due to detected vulnerability (#124)
Juan Cabrerizo [Wed, 10 Nov 2021 10:51:52 +0000 (10:51 +0000)] 
JCLOUDS-1588: Bump google gson to 2.8.9 due to detected vulnerability (#124)

10 months agoJCLOUDS-1586: Upgrade to Guice 5.0.1
Andrew Gaul [Sun, 31 Oct 2021 09:01:40 +0000 (18:01 +0900)] 
JCLOUDS-1586: Upgrade to Guice 5.0.1

Guice 4.2.3 makes illegal reflective accesses that Java 17 does not
allow.  References google/guice#1133.  Release notes:


10 months agoRemoved unused jetty-server dependency
Andrew Gaul [Sat, 18 Sep 2021 21:48:18 +0000 (06:48 +0900)] 
Removed unused jetty-server dependency

12 months agoNext development version 2.5.0-SNAPSHOT
Andrew Gaul [Sat, 18 Sep 2021 23:59:59 +0000 (08:59 +0900)] 
Next development version 2.5.0-SNAPSHOT

12 months agoNext development version 2.4.0-SNAPSHOT
Andrew Gaul [Sat, 18 Sep 2021 23:58:25 +0000 (08:58 +0900)] 
Next development version 2.4.0-SNAPSHOT

12 months agoJCLOUDS-1584 : Deployment API fails when ARM Template deploys for creating Azure VM
Rajani-cloud [Mon, 30 Aug 2021 10:43:22 +0000 (06:43 -0400)] 
JCLOUDS-1584 : Deployment API fails when ARM Template deploys for creating Azure VM

13 months agoJCLOUDS-1558: Implement Azure Blob Azure AD auth 120/head
Timur Alperovich [Tue, 10 Aug 2021 06:46:24 +0000 (23:46 -0700)] 
JCLOUDS-1558: Implement Azure Blob Azure AD auth

Implements the Azure AD authentication for Azure Blob, using the OAuth
module. Added more parameters to the AzureBlob provider:
- azureblob.auth
- azureblob.account
- azureblob.tenantId

The "auth" parameter is used to specify whether Key/SAS auth or Active
Directory is used. When using Active Directory auth, the identity no
longer maps to the storage account, which has to be specified
explicitly. The tenant ID also needs to be supplied to construct the
auth URL to obtain the token correctly.

13 months agoAzureBlob: Update API to 2017-11-09
Timur Alperovich [Mon, 16 Aug 2021 06:50:47 +0000 (23:50 -0700)] 
AzureBlob: Update API to 2017-11-09

13 months agoStore the MPU ETag for the transient blobstore
Timur Alperovich [Wed, 4 Aug 2021 08:33:57 +0000 (01:33 -0700)] 
Store the MPU ETag for the transient blobstore

JCLOUDS-1582: fixes a bug in the transient blobstore where after
uploading a multipart upload, GET/HEAD returns the hash of the content,
rather than the MPU ETag.

13 months agoPrefer case-insenstive header comparisons
Andrew Gaul [Tue, 27 Jul 2021 23:42:22 +0000 (08:42 +0900)] 
Prefer case-insenstive header comparisons

Follows up to #116.

14 months agoFix location header case sensitive
Simone Locci [Mon, 26 Jul 2021 14:03:50 +0000 (16:03 +0200)] 
Fix location header case sensitive

14 months agoAdd missing javax dependencies for modern Java
Andrew Gaul [Sat, 10 Jul 2021 02:20:20 +0000 (11:20 +0900)] 
Add missing javax dependencies for modern Java

Java 9 modularization removed these.

14 months agoRemove tests which rely on an isolated ClassLoader
Andrew Gaul [Sat, 10 Jul 2021 02:47:03 +0000 (11:47 +0900)] 
Remove tests which rely on an isolated ClassLoader

Java 9 returns jdk.internal.loader.ClassLoaders$AppClassLoader instead
of URLClassLoader so we cannot create an isolated ClassLoader.

14 months agoRemove Google appengine driver
Andrew Gaul [Thu, 15 Jul 2021 01:21:19 +0000 (10:21 +0900)] 
Remove Google appengine driver

This has an incompatibility with JAXB motivating this removal.
jclouds GAE has not seen any development or issues in recent years and
uses a very old appengine-api-1.0-sdk dependency.  Further it appears
to have modern Guava incompatibilities as seen in JCLOUDS-836.

14 months agoUpgrade to duplicate-finder-maven-plugin 1.5.0
Andrew Gaul [Thu, 15 Jul 2021 01:04:23 +0000 (10:04 +0900)] 
Upgrade to duplicate-finder-maven-plugin 1.5.0

Notably this fixes an issue with duplicate module-version files in
JAXB.  Release notes:


14 months agoUpgrade animal sniffer to 1.20
Andrew Gaul [Sat, 10 Jul 2021 04:00:04 +0000 (13:00 +0900)] 
Upgrade animal sniffer to 1.20

This addresses a bad class file issues seen when using an explicit
JAXB dependency.  Release notes:


14 months agoIgnore copyOf method when testing with modern Java
Andrew Gaul [Sat, 10 Jul 2021 02:27:38 +0000 (11:27 +0900)] 
Ignore copyOf method when testing with modern Java

14 months agoUpgrade to EasyMock 4.3
Andrew Gaul [Sat, 10 Jul 2021 02:47:23 +0000 (11:47 +0900)] 
Upgrade to EasyMock 4.3

This upgrades asm which improves compatibility with modern Java.
Release notes:


14 months agoJCLOUDS-1516: specify host name when creating bucket
didixith [Sat, 10 Jul 2021 02:35:16 +0000 (08:05 +0530)] 
JCLOUDS-1516: specify host name when creating bucket

14 months agoJCLOUDS-1581: Make CORS maxAgeSeconds optional
Andrew Gaul [Tue, 29 Jun 2021 23:09:06 +0000 (08:09 +0900)] 
JCLOUDS-1581: Make CORS maxAgeSeconds optional

This field is not required:


14 months agoJCLOUDS-1577 - Allow to provide Azure Plan Information when starting custom image...
Miroslav Novak [Fri, 7 May 2021 13:20:19 +0000 (15:20 +0200)] 
JCLOUDS-1577 - Allow to provide Azure Plan Information when starting custom image based on Azure Marketplace image.

14 months agoRe-optimize LocalBlobStore.getBlob with ranges
Andrew Gaul [Thu, 24 Jun 2021 11:57:30 +0000 (20:57 +0900)] 
Re-optimize LocalBlobStore.getBlob with ranges

This fixes a memory regression from
8de7b696e13f7131b3ea4a77b10f5cfd139dd712 where the transient BlobStore
changed from a ByteSource to a byte[].

15 months agoJCLOUDS-1580 - Add support for lowercase metadata headers
i831992 [Wed, 23 Jun 2021 00:28:29 +0000 (14:28 -1000)] 
JCLOUDS-1580 - Add support for lowercase metadata headers

The issue happens if a cloud provider returns lowercase metadata headers, for example: "x-object-meta-apiversion" instead of "X-Object-Meta-ApiVersion"

In that case, BlobStore.blobMetadata(CONTAINER, PATH).getUserMetadata()
incorrectly returns an empty map.

This happens because the code is looking for the exact String "-Meta-" (case-sensitive).

This checkin allows to handle metadata headers of any case, and also adds a unit test for that situation.

17 months agoRemove error-prone
Andrew Gaul [Wed, 14 Apr 2021 14:25:41 +0000 (23:25 +0900)] 
Remove error-prone

This does strange things with the java compiler which makes it
incompatible with more modern Java versions.

17 months agoNext development version 2.4.0-SNAPSHOT
Andrew Gaul [Wed, 14 Apr 2021 14:14:10 +0000 (23:14 +0900)] 
Next development version 2.4.0-SNAPSHOT

17 months agoNext development version 2.4.0-SNAPSHOT
Andrew Gaul [Wed, 14 Apr 2021 14:04:13 +0000 (23:04 +0900)] 
Next development version 2.4.0-SNAPSHOT

17 months agoParse out of order ListBuckets response elements
Timur Alperovich [Sun, 4 Apr 2021 01:06:41 +0000 (18:06 -0700)] 
Parse out of order ListBuckets response elements

Currently, jclouds assumes that the ListBuckets response follows a
specific order: the <Owner> tag, followed by the <Buckets> tag. Within
the <Owner> tag, jclouds further assumes that the <ID> must occur before
the <DisplayName> tag. If the XML body does not adhere to this order,
the parser throws a NullPointerException.

DigitalOcean spaces does not adhere to this order and returns the
<DisplayName> tag before the <ID> tag. The patch changes the parser to
not depend on the order of the tags.

17 months agoJCLOUDS-1572: Update GCS bucket regions
Andrew Gaul [Wed, 31 Mar 2021 02:51:08 +0000 (11:51 +0900)] 
JCLOUDS-1572: Update GCS bucket regions

18 months agoS3 APIs: Remove the dependency to com.jamesmurty.utils:java-xmlbuilder (#98)
Jean-Noël Rouvignac [Mon, 1 Mar 2021 14:01:10 +0000 (15:01 +0100)] 
S3 APIs: Remove the dependency to com.jamesmurty.utils:java-xmlbuilder (#98)

XMLBuilder is a very nice fluent API for building XML documents.
However, it is only used by a tiny portion of jclouds: the s3 api. The
use of the XMLBuilder class requires a dependency to
com.jamesmurty.utils:java-xmlbuilder jar and a transitive
dependency to the net.iharder:base64 jar (superseded by
java.util.Base64 in java 8). They are 18kb each approximately and they
not OSGi compatible. They are not huge, but they represent more API
surface and more things to change when trying to use jclouds in an OSGi
context (they need to be replaced by OSGi compatible bundles like

This commit replaces the use of XMLBuilder by a direct use of the
javax.xml and org.w3c.dom APIs.

I hope retesting will be minimal, and most of this code is covered by
unit tests.

18 months agoAvoid using the guice injector int ests which triggers an NPE
Jean-Noël Rouvignac [Mon, 1 Mar 2021 10:49:24 +0000 (11:49 +0100)] 
Avoid using the guice injector int ests which triggers an NPE

19 months agoRemove maven emma plugin 2.3.x
gurkerl83 [Mon, 14 Dec 2020 11:16:27 +0000 (12:16 +0100)] 
Remove maven emma plugin

Previously, the plugin "emma" was integrated/used for maven site deployment. The following commits removed site deployment entirely.
For reference
- https://github.com/apache/jclouds/pull/91/commits/e02503e1cb59a19e7c48099ce1767ef5f3b7e816
- https://github.com/apache/jclouds/pull/91/commits/9158ab0b0eb7f0a9a9f889cfc86f7bcef7868ff3

19 months agoRestructure build profiles
gurkerl83 [Mon, 14 Dec 2020 10:17:46 +0000 (11:17 +0100)] 
Restructure build profiles

The project requires at least JDK version 8. The specification to disable the liniting process in the JavaDoc process as of JDK version 8 is thus doubly specified and fulfilled by default; an explicit specification is no longer required. Version 3 of the JavaDoc plugin removes the "additional param" configuration attribute. The "doclint=false" configuration attribute disables the lint operation of the plugin.

- Remove the profile "disable-doclint"
- Bump version of JavaDoc plugin to the latest > 3
- Remove the JavaDoc plugin's declaration from the build plugins used for default builds (building without a profile)
- Bump version of source plugin to latest > 3

- Remove unnecessary profile "doc" from the jclouds pom artifact

19 months agoRemove distribution profiles
gurkerl83 [Sun, 6 Dec 2020 23:47:02 +0000 (00:47 +0100)] 
Remove distribution profiles

Remove distribution profiles from the JClouds parent, main, and core modules. Each profile defines assembly descriptors, but none of those files are provided by the project anymore.
The maven assembly plugin relies on those descriptors to dictate its execution.
The estimation is that individual maven artifacts, one per module, get deployed instead of a compressed deployment unit.
In that case, it is enough to use mavens deploy command in combination with distribution management configuration pushing individual jars to the artifact repositories.

19 months agoRemove jenkins profile
gurkerl83 [Sun, 6 Dec 2020 23:25:55 +0000 (00:25 +0100)] 
Remove jenkins profile

According to the Jenkins configuration, only the maven profiles src and doc are necessary to execute in the build process. This commit removes the dedicated jenkins profile.

19 months agoRemove site profile and wired enforcer executions
gurkerl83 [Sun, 6 Dec 2020 21:24:44 +0000 (22:24 +0100)] 
Remove site profile and wired enforcer executions

The site profile defines various enforcer execution rules, banned-dependencies, java (java and maven version). Those declarations in combination with the standard maven properties for the JDK version seem misleading and duplicated. Also, there is no indicator that the site profile is ever defined for a maven build.

19 months agoRemove maven property site url
gurkerl83 [Sun, 6 Dec 2020 20:18:23 +0000 (21:18 +0100)] 
Remove maven property site url

In the last three commits, the site reporting feature got gradually decommissioned. This commit removes any remaining fragments in this regard. Remove the section distribution management from the profile clouds-project. The comment about incorrect links generated might have resulted from multiple invocations of the check style plugin. Previously the check style plugin got utilized at multiple sections (reporting section and profiles) and probably overlapping maven lifecycles.

19 months agoRemove section reporting
gurkerl83 [Sun, 6 Dec 2020 20:06:01 +0000 (21:06 +0100)] 
Remove section reporting

In the last two commits, the site reporting feature got gradually decommissioned. The maven plugin project-info-reports got removed in the previous commit, which gets controlled by the reporting section. Because this workflow is out of use, this commit removes the reporting section.

19 months agoRemove maven site deployment related plugins
gurkerl83 [Sun, 6 Dec 2020 19:44:30 +0000 (20:44 +0100)] 
Remove maven site deployment related plugins

The previous site plugin utilizes several plugins. In about half of the cases, the respective version of a plugin as described in the outside plugin section. The following list enumerates those plugins and my reasoning to remove them safely from the section plugins.

- maven-project-info-reports-plugin (remove - because no reports get generated)
- maven-javadoc-plugin (stays - even when a profile doc exists, which provides a dedicated setup.) We have to discuss the removal to avoid any side effects.
- emma-maven-plugin (stays - my impression is that it is a duplicated declaration)
- maven-jxr-plugin (remove - only version declaration, with no further config, not utilized anywhere)
- maven-surefire-report-plugin (remove - only version declaration, with no further config, not utilized anywhere)
- apache-rat-plugin (stays - decision is straightforward. We have to discuss a restructure because the plugin gets mentioned three times; I guess one can get removed.
- maven-pmd-plugin (remove - only version declaration, with no further config, not utilized anywhere)
- spotbugs-maven-plugin (stays - beacuse of its extended configuration section - discuss a removal)

19 months agoRemove maven site deployment
gurkerl83 [Sun, 6 Dec 2020 19:06:06 +0000 (20:06 +0100)] 
Remove maven site deployment

The maven site-plugin uses the declaration "site" in the section "distribution management," which points to a git repository named "jclouds-maven-site." This git repository got never relocated during the apache migration; also, it is ancient. My impression is that the site deployment is outdated and got used in the early days of JClouds.

19 months agoUpgrade OKHttp dependency
gurkerl83 [Wed, 3 Feb 2021 12:16:57 +0000 (13:16 +0100)] 
Upgrade OKHttp dependency

The JClouds project module upgrades the okhttp server library and related dependencies such as mockwebserver from 2.2.0 to 3.14.9. The vendor switched the groupId declaration from com.squareup.okhttp to com.squareup.okhttp3.

Adjust imports and api calls for newer okhttp vers

19 months agoRemove explicit OSGi import range of okio dep
gurkerl83 [Wed, 3 Feb 2021 21:55:29 +0000 (22:55 +0100)] 
Remove explicit OSGi import range of okio dep

All OkHttp components get shipped with any OSGi metadata. Tracking the progress of that issue from version 5 onwards, OkHttp finally provides OSGi support. Because JClouds OkHttp dependencies got renewed from 2.2.0 to the latest 3 (3.14.9), the respective bundles from Apache Servicemix got used in a deployment scenario. On the other hand, the problem with Servicemix is that there is no full match of published OkHttp dependencies to the respective bundle equivalent.


My test shows that none of the version 3 bundles work because of a missing package dependency "javax.annotation.meta". Sure higher version of 9 strips the javax.annotation module entirely, but the meta package is not there in JDK 8 either. As you can see from the link above, only two versions of 3.14 got published in the service mix; it is not clear to which version the bundle equivalents relate. From my understanding, it is much more important to use identical versions of OkHttp dependencies used in JClouds.

To utilize the original OKHttp libraries, consumer projects have to ensure those libraries get loaded using OSGi helper tools such as the wrap protocol provided by Apache Karaf or similar.

To reduce OSGi noise, I removed the OSGi import range of okio dependency entirely. A declaration like that does not make sense; otherwise, a set of Okhttp ranges must also be defined.

Note: The wildcard (*) declaration provides a way out, which allows any version of a package used in JClouds but itself does not give any OSGi metadata. Hopefully, I do not confuse you too much.

19 months agoClear rule for bouncycastle exclusion
gurkerl83 [Wed, 3 Feb 2021 20:56:53 +0000 (21:56 +0100)] 
Clear rule for bouncycastle exclusion

- Mock-Webserver v2.2.0 - Vendor, defined dependency bcprov-jdk15on > Previously, the dependency got excluded; otherwise, it conflicted with the existing bouncy castle version used in JClouds.
- Mock-Webserver v3.14.9 - The vendor does not define a bouncy castle dependency anymore; instead, it moved to the okhttp-tls module.

- Introduce the okhttp-tls module for tests in the core module. The following APIs (Docker, Elastic-Stack) and providers Softlayer extend their respective MockTest from BaseMockWebServerTest. The mock base test is located in the test jar of JClouds core module.
- Due to conflicting bouncy castle classes in the classpath, those which get loaded from the okhttp-tls module, and those defined in JClouds bouncy castle module, the bouncy castle dependency of okhttp-tls has to get skipped for the two APIs and providers mentioned.

Side note:
The JClouds GAE driver module also requires the new okhttp-tls dependency because of the following chain of inheritance.
Different from the situation above, the bouncy castle classes of the okhttp-tls got not excluded.
GaeHttpCommandExecutorServiceIntegrationTest -> BaseHttpCommandExecutorServiceIntegrationTest -> BaseMockWebServerTest

The reason for this is unknown to me.

19 months agolost changes
korlov42 [Sat, 10 Oct 2020 06:30:14 +0000 (09:30 +0300)] 
lost changes

19 months agofix failed testSSLConnectionFailsIfOnlyHttpConfigured
korlov42 [Fri, 9 Oct 2020 20:25:48 +0000 (23:25 +0300)] 
fix failed testSSLConnectionFailsIfOnlyHttpConfigured

19 months agofix UnsupportedOperationException during setting socketFactory
korlov42 [Fri, 9 Oct 2020 17:24:11 +0000 (20:24 +0300)] 
fix UnsupportedOperationException during setting socketFactory

19 months agoJCLOUDS-1551: Update version of OkHttp 3.14.9
korlov42 [Tue, 6 Oct 2020 15:38:30 +0000 (18:38 +0300)] 
JCLOUDS-1551: Update version of OkHttp 3.14.9

19 months agoForce application/x-directory for directories
Andrew Gaul [Tue, 2 Feb 2021 13:56:51 +0000 (22:56 +0900)] 
Force application/x-directory for directories

Paths created by Files.createParentDirs lack extended attributes and
thus Content-Type for directories.

19 months agoAllow setting BlobAccess in LocalBlobStore.putBlob
Andrew Gaul [Sun, 31 Jan 2021 13:27:14 +0000 (22:27 +0900)] 
Allow setting BlobAccess in LocalBlobStore.putBlob

This addresses a race condition with filesystem users.

19 months agoAdd OSGi version ranges, guice, okio
gurkerl83 [Sat, 9 Jan 2021 18:25:53 +0000 (19:25 +0100)] 
Add OSGi version ranges, guice, okio

In the present feature, the two properties
- guava.osgi.import and
- okhttp.version
have not been attached to the build process (Bnd plugin), but have been recorded as comments only.

Before the resolution method is considered, the problem of Guava and its close coupling with Guice must be examined.

The Guice project possesses, differently to GSON no explicit configuration, how its dependencies are regarded in an OSGi execution environment.

Guice / Guava
- 4.1.0 / 19.0
- 4.2.0 /  [23.6,24)
- 4.2.1 / [25.1,26)
- 4.2.3 / [27.1,28) => used
- 5.0.0.BETA-1 / [27.1,28)

The version of Guice built into JClouds is 4.2.3. Increasing to this version number was not the subject of the current branch.

To avoid backward compatibility problems between Guice and Guava (e.g. Guice 4.2.3 -> Guava 24) this means that the version of Guava integrated in JClouds must be at least version 27.1. Guice puts this in its dependencies.

In my opinion, consumers (JClouds, as well as consumers of JClouds) should take this minimum barrier into account.

To understand the resolution, please consider the following previously unmerged feature.

In order to add a Guava verison range to the bundles rolled out by JClouds, the following import rule is added in the BND Configuration of the Project Module.

Import Package: \
    com.google.common.*;version="[27.1,30.1.0)", \
    okio.*;version="[1.2.0,1.3)", \

In the output of each JClouds module that uses Guava (and there are some) the configuration to the range version is observed. The bnd built into the JClouds project modules acts as a base of other bnd configurations, and should also apply in the Lab and Co repositories. Adjusted artefacts only become valid when a release is available or the build of these repositories is triggered again.

Output - Core Module

Import package:

Output - Blobstore Module

Import package:

Oki version range
The okhttp dependency requires okio version 1.2. The ok* libraries respectively the dependencies used in these libraries do not have OSGi instructions. For this reason, the previously integrated configuration is used.

Local tests show that the import directive can also be set globally, see above. An explicit specification in the bnd file of the JClouds okHTTP module is not useful because this JClouds module also uses Guava.

Output - OkHTTP Module

Import package:

In the following feature, the version of the "ok" framework has been significantly increased.  Extensive adjustments are also performed.

At this point, it should be noted that the import policy in the okio will probably have to be removed again because standalone OSGi metadata may be provided.

19 months agoMove from OSGi Spec V4.2 to V6
gurkerl83 [Mon, 26 Oct 2020 15:08:53 +0000 (16:08 +0100)] 
Move from OSGi Spec V4.2 to V6

Increase of OSGi dependencies core and compendium (now cmpn) from 4.2 to 6.0.
Previously it was possible to run JClouds in OSGi environments from version 4.

An essential aspect to use JClouds in an OSGi environment requires so-called feature sets. These can be generated manually or automatically - see JClouds-Karaf project. Since there have been significant changes in the structure and behaviour of Karaf in the meantime, an adaptation is appropriate.

Breaking change - probably not, as no other APIs of core and compendium are used than up to now.

OSGi - V4.2 - Karaf 2.2.x - to 2.2.9 (Current Status - not active)
OSGi - V6.0 - Karaf 4.1.x - 4.2 (Current Status - active)

19 months agoRemove duplicated finder exception for cloudsigma
gurkerl83 [Mon, 26 Oct 2020 14:34:29 +0000 (15:34 +0100)] 
Remove duplicated finder exception for cloudsigma

In the source code of JClouds cloudsigma as a keyword gets not used anywhere. In the JClouds-Lab project, cloudSigma is available both as an API and multiple provider modules. Because the project module from JClouds serves as a parent module for all JClouds-Labs modules, it seems reasonable to maintain those rules in the JClouds project module.

After inspecting the JClouds Lab source code, group artifact combinations of


..., respectively


..., are not available.

Cloudsigma in Lab uses the following group artifact combinations, all with a "2" prefix.

<artifactId>cloudsigma (2)</artifactId>

<artifactId>cloudsigma (2) -hnl</artifactId>

Loading those bundles into an OSGi runtime, a runtime collision happens because the API exports the identical packages as the provider modules.

Although this was the case in a previous version, it has since been corrected.


This commit removes the exception handling.

19 months agoReorder dependencies for core module
gurkerl83 [Mon, 26 Oct 2020 13:58:39 +0000 (14:58 +0100)] 
Reorder dependencies for core module

Reorder dependencies, integrate library javax.ws.rs-api in the parents' dependency management section

19 months agoRemove javax libraries
gurkerl83 [Mon, 26 Oct 2020 13:42:10 +0000 (14:42 +0100)] 
Remove javax libraries

Remove javax libraries inject and annotation. In JDK 8 those libraries are provided by the JDK. Younger JDK versions > 11 exclude them again to make the JDK leaner. Supporting younger JDK versions means integrating more younger libraries maintained by the Jakarta project.

19 months agoRemove Guice multibindings
gurkerl83 [Mon, 26 Oct 2020 13:28:56 +0000 (14:28 +0100)] 
Remove Guice multibindings

Since Guice 4.2, multibindings support has moved to Guice core. Before that, you need to depend on the guice-multibindings extension. For reference https://github.com/google/guice/wiki/Multibindings

19 months agoInitial cleanup of maven set up in the parents' module
gurkerl83 [Mon, 26 Oct 2020 13:20:51 +0000 (14:20 +0100)] 
Initial cleanup of maven set up in the parents' module

- Increase version of Guava dependency from 22.0 to 27.1-jre.

Note: In an OSGi runtime, Guice version 4.2.3 expects Guava with an exact version of 27.1-jre. For now, higher versions of Guava are not possible.

- Separate version numbers from dependencies and plugins

Following is a description of the purpose of the feature.

New contributors find it difficult to understand the function and intent of different plugins integrated into JClouds.

The primary goal is to simplify and streamline the overall setup.

On closer examination of the integrated plugins you will notice that,

- different plugins are used for the same or a similar goal
- the development activity of used plugins has been terminated
- modified integration requirements through Maven. The development of used plugins is progressing. Versions of the plugins integrated into JClouds are not up to date. Newer plugin versions require an adjustment to how integration into a project is done.

Basically the setup of the plugins used in the Maven project POM was done a long time ago. The project POM file of the JClouds project serves as a parent for all modules in JClouds.

The first step is to consolidate the used plugins.

The same aspects apply to the build profiles used in the project. On closer look these must be considered obsolete. A deconstruction of declared build profiles is aimed at.

In order to support newer runtime environments, for example JDK11 and above, we aim to integrate build profiles.

In the respective build profile the libraries which are no longer contained in the respective target JDK but needed in JClouds are to be integrated.

In the course of this rebuild, a property-based way of declaring the version number of dependencies and plugins will be implemented.

20 months agoSimplify S3 code that uses java-xml-builder (#93)
Jean-Noël Rouvignac [Thu, 21 Jan 2021 12:54:44 +0000 (13:54 +0100)] 
Simplify S3 code that uses java-xml-builder (#93)

* animal sniffer should be on java18, just like `<jdk.version>`

* Only use XMLBuilder's elem() and text() methods to have similar looking code

* Remove unnecessary call to XMLBuilder's up() because the returned value is never used

* Simplify code

* Deduplicate code

* Make the code more explicit by returning the rootBuilder

21 months agoJCLOUDS-1557 - Azure local server support
davidsloan [Tue, 8 Dec 2020 02:14:03 +0000 (02:14 +0000)] 
JCLOUDS-1557 - Azure local server support

Co-authored-by: David Sloan <david.sloan@lenses.io>
21 months agoSync OSGi handling with Apache JClouds Project
gurkerl83 [Sun, 6 Dec 2020 13:51:14 +0000 (14:51 +0100)] 
Sync OSGi handling with Apache JClouds Project

This project, the aws-lab version of Apache JClouds, share the exact build instructions as the primary Apache JClouds project with all its modules.
Apache JClouds is shifting its strategy in handling OSGi configuration. Instead of using the Maven Bundle Plugin, a wrapper of the BND plugin, the BND plugin gets used directly.
- Remove the OSGi configuration from each module. The configuration gets served to the BND through dedicated configuration / bnd files.
- Onboard bnd-configuration files, one per module.

Ignore bnd files in rat plugin

21 months agoJCLOUDS-1559: add Charset to Json.fromJson InputStream methods
roded [Fri, 4 Dec 2020 19:56:24 +0000 (21:56 +0200)] 
JCLOUDS-1559: add Charset to Json.fromJson InputStream methods

23 months agoRemove scope declaration from deps management
gurkerl83 [Mon, 26 Oct 2020 00:33:49 +0000 (01:33 +0100)] 
Remove scope declaration from deps management

The default scope of imports is "compile." There is no reason to add this declaration to the GSON import declaration. Also, scope declarations are required to be defined in the main dependency declaration section, not in dependency management, where dependency information gets managed, which is valid across all of its children, e.g., version numbers.

23 months agoLowering the GSON version
gurkerl83 [Mon, 26 Oct 2020 00:22:49 +0000 (01:22 +0100)] 
Lowering the GSON version

Lowering the GSON version from 2.8.6 (latest) to 2.8.5, to make sure no side effects get introduced on a JDK level - for reference https://github.com/google/gson/issues/1601. Another feature is in its making to introduce a conditional build profile to support JDK 11 and above; here, a switch to the latest version of GSON gets provided.

23 months agoIn the final state of this feature, a rebase on Master was executed. In resolving...
gurkerl83 [Sat, 24 Oct 2020 15:48:40 +0000 (17:48 +0200)] 
In the final state of this feature, a rebase on Master was executed. In resolving a merge problem with the Maven project file "JClouds Project," an important instruction got overwritten, to generate test jars for each module. This modification re-adds this ability for all modules. Counter versa, defining this build step repeatedly, e.g., in the api/oauth module, is no longer required. Also, correct a typo, add groupId.

Note: Previously, the maven jar plugin contained a configuration embedded in each module's generated manifest files. The configuration got relocated to the project/bnd.bnd file in a previous commit, and gets handled through the bnd plugin.

23 months agoIn the final state of this feature a rebase on Master was executed. In resolving...
gurkerl83 [Sat, 24 Oct 2020 12:32:04 +0000 (14:32 +0200)] 
In the final state of this feature a rebase on Master was executed. In resolving a merge problem with the Maven project file "JClouds Project", an important change already introduced in Master was overlooked. The library Guice was already updated to the latest version 4.2.3 in Master, and the original version number 3.0 was accidentally added to the Maven project file. This modification removes the version number 3.0 from the configuration.

23 months agoRe-Enable the build for all modules. Increase version of bnd plugin to the latest.
gurkerl83 [Sat, 17 Oct 2020 14:04:22 +0000 (16:04 +0200)] 
Re-Enable the build for all modules. Increase version of bnd plugin to the latest.

23 months agoRemove the OSGi configuration from each module. The approach of defining OSGi configu...
gurkerl83 [Sat, 17 Oct 2020 14:01:26 +0000 (16:01 +0200)] 
Remove the OSGi configuration from each module. The approach of defining OSGi configuration through common properties and serving them to the bundle plugin gets no longer used; instead, OSGi configuration gets defined in each module's dedicated bnd file.

23 months agoOnboard bnd-configuration files, one per module
gurkerl83 [Sat, 17 Oct 2020 13:44:37 +0000 (15:44 +0200)] 
Onboard bnd-configuration files, one per module

23 months agoIntegrate GSON library in Clouds Core Bundle Final
gurkerl83 [Thu, 2 Jul 2020 08:54:28 +0000 (10:54 +0200)] 
Integrate GSON library in Clouds Core Bundle Final

In the last commit (last section of squashed commit), the GSON library was integrated into the JClouds core module using maven-bundle plugins include resource instruction. Building OSGi instruction variables from the respective modules show a weakness when resources such as script builder shell scripts are required to be integrated into the bundle but not provide a dedicated variable declaration for the resource section.

The following commit demonstrates a change in strategy in declaration and integration of OSGi metadata.

- Replace old bundle-plugin with newest bnd-plugin (bundle-plugin uses bnd-plugin internally)
- Move OSGi metadata declarations from a maven variable passing strategy into dedicated bnd.bnd files
+ Cleaner pom files, no bundle packaging
+ Intellisense / Autocomplete support for .bnd files in terms of package exports etc.

For demonstration, the overall OSGi adjustments are limited to project, core, script builder, compute, blob store, and load balancer because most custom OSGi metadata is defined here.

Note: Other modules are currently disabled from build because some feedback is needed first.

Make GSON integration work.
To understand the changes, see the core modules' bnd file. GSON internal packages also define a version. Both already exported and new export declarations are fused. The global JClouds core module exports defined the entire set of GSON packages available.

Some minor modifications were made in the module project; replace maven jar plugin with a minified version of the declaration, outsourced in projects bnd file.