Updating .auroraversion to release version 0.11.0.

Updating .auroraversion to 0.11.0-rc1.

Updating CHANGELOG for 0.11.0 release.

Revert "Updating CHANGELOG for 0.11.0 release."

This reverts commit 5cd2767f816525ed65f830a5413de56e735d688c.

Revert "Incrementing snapshot version to 0.12.0-SNAPSHOT."

This reverts commit 20a57f1a0f80576e2311b11f63423dc8880fad4b.

Incrementing snapshot version to 0.12.0-SNAPSHOT.

Updating CHANGELOG for 0.11.0 release.

Add flag to set FrameworkInfo.principal

Bugs closed: AURORA-687

Reviewed at https://reviews.apache.org/r/41525/

Implements log rotation in the Thermos runner.

Bugs closed: AURORA-95

Reviewed at https://reviews.apache.org/r/30695/

Accept a command line argument for an executor configuration via json

Patch to allow Aurora to accept an executor config via commandline which overrides the default thermos one.

Reviewed at https://reviews.apache.org/r/41473/

Add a NEWS entry about shell health checks and HealthCheckConfig deprecations.

Reviewed at https://reviews.apache.org/r/41531/

Refactoring HealthCheckConfig into separate structs

Bugs closed: AURORA-1562

Reviewed at https://reviews.apache.org/r/41428/

Remove ServerInfo.thriftAPIVersion

Bugs closed: AURORA-1553

Reviewed at https://reviews.apache.org/r/41522/

Force Windows to always use Unix line endings.

Since everything is run inside an Ubuntu VM, we want to ensure the line endings don't get auto-translated.

Bugs closed: AURORA-1354

Reviewed at https://reviews.apache.org/r/41521/

HTTP server cleanup - shut down the server after unit tests, remove jetty bug workaround.

Reviewed at https://reviews.apache.org/r/41453/

Remove duplicate ExecutorConfig class.

Reviewed at https://reviews.apache.org/r/41523/

Deprecate JobUpdateSettings.maxWaitToInstanceRunning and UpdateConfig.restart_threshold

Bugs closed: AURORA-1252, AURORA-1253

Reviewed at https://reviews.apache.org/r/41486/

Handling task event race in updater.

Bugs closed: AURORA-1506, AURORA-1507

Reviewed at https://reviews.apache.org/r/41226/

Remove the client-side updater.

Bugs closed: AURORA-785

Reviewed at https://reviews.apache.org/r/41368/

Add PMD coverage for test sources.

Reviewed at https://reviews.apache.org/r/41413/

Upgrade to jetty 9.3.6.v20151106.

Reviewed at https://reviews.apache.org/r/41392/

Disable task caching for the generateBuildProperties task.

Reviewed at https://reviews.apache.org/r/41391/

Add support for performing health checks with a shell command.

Bugs closed: AURORA-1551

Reviewed at https://reviews.apache.org/r/41154/

Upgrade mesos dependency to 0.24.1.

Bugs closed: AURORA-1543

Reviewed at https://reviews.apache.org/r/41315/

Document mesos.hostname in reference

Bugs closed: AURORA-1557

Reviewed at https://reviews.apache.org/r/41367/

Upgrade to pants 0.0.64 and pex 1.1.1.

CHANGELOGs are here:
+ http://pantsbuild.github.io/changelog.html
+ https://pypi.python.org/pypi/pex/1.1.1

The pants upgrade ends the deprecation cycle for the `python_test_suite`
aggregator target; so these are all switched to the reccomended `target`
aggregator target.

The pex upgrade brings in support for a global `/etc/pexrc` which could
be desirable for control over the executor components.

 3rdparty/python/requirements.txt                    | 2 +-
 pants.ini                                           | 2 +-
 src/test/python/BUILD                               | 2 +-
 src/test/python/apache/aurora/BUILD                 | 2 +-
 src/test/python/apache/aurora/admin/BUILD           | 2 +-
 src/test/python/apache/aurora/client/BUILD          | 2 +-
 src/test/python/apache/aurora/client/api/BUILD      | 2 +-
 src/test/python/apache/aurora/client/cli/BUILD      | 2 +-
 src/test/python/apache/aurora/client/hooks/BUILD    | 2 +-
 src/test/python/apache/aurora/common/BUILD          | 2 +-
 src/test/python/apache/aurora/config/BUILD          | 2 +-
 src/test/python/apache/aurora/executor/BUILD        | 6 +++---
 src/test/python/apache/aurora/executor/bin/BUILD    | 2 +-
 src/test/python/apache/aurora/executor/common/BUILD | 2 +-
 src/test/python/apache/aurora/tools/BUILD           | 2 +-
 src/test/python/apache/thermos/BUILD                | 2 +-
 src/test/python/apache/thermos/common/BUILD         | 2 +-
 src/test/python/apache/thermos/config/BUILD         | 2 +-
 src/test/python/apache/thermos/core/BUILD           | 8 ++++----
 src/test/python/apache/thermos/monitoring/BUILD     | 2 +-
 src/test/python/apache/thermos/observer/BUILD       | 2 +-
 src/test/python/apache/thermos/observer/http/BUILD  | 2 +-
 22 files changed, 27 insertions(+), 27 deletions(-)

Testing Done:
Locally green: `./build-support/jenkins/build.sh`

Bugs closed: AURORA-1554

Reviewed at https://reviews.apache.org/r/41331/

Remove outdated constraint documentation.

Reviewed at https://reviews.apache.org/r/41155/

Revert "Revert "Replace manual Forwarding* with `@Forward`.""

This reverts commit 0e62780c48ecc89571482f5b6663914147f96234.

Bugs closed: AURORA-1550

Reviewed at https://reviews.apache.org/r/41190/

Convert test sources to use lambdas throughout.

Reviewed at https://reviews.apache.org/r/41181/

Fixing scoped update issue.

Bugs closed: AURORA-1549

Reviewed at https://reviews.apache.org/r/41145/

Revert "Replace manual Forwarding* with `@Forward`."

This reverts commit 0c98e8a82177f39534db3a49162582aeb1739728.

Bugs closed: AURORA-1146

Reviewed at https://reviews.apache.org/r/41140/

set TaskStatus.slave_id field in TaskReconsiler

Bugs closed: AURORA-1547

Reviewed at https://reviews.apache.org/r/41048/

Use lambdas throughout the project.

Reviewed at https://reviews.apache.org/r/41074/

Upgrade checkstyle and pmd versions.

Reviewed at https://reviews.apache.org/r/41056/

Replace manual Forwarding* with `@Forward`.

This is a bit of a straw man.  While working on
https://issues.apache.org/jira/browse/AURORA-987 I found the need for
`javapoet` and this project spun off the side.

See the `@Forward` README here for more info: https://github.com/perkuno/forward

Although I think the end result is desirable, this change does add a
dependency on a personal project.  I fancied up the presentation with a
custom org, but its still a personal project. I'd be happy enough to
move the `@Forward` code over to aurora, but it would require a seperate
gradle module to ensure the annotation processor is compiled ahead of
the main module that would use it.

So kick the tires and let me know what you think.

 build.gradle                                                                  |   6 +-
 src/main/java/org/apache/aurora/scheduler/storage/ForwardingStore.java        | 185 ------------------------------
 src/main/java/org/apache/aurora/scheduler/storage/log/WriteAheadStorage.java  |  13 ++-
 src/test/java/org/apache/aurora/scheduler/thrift/aop/ForwardingThrift.java    | 309 --------------------------------------------------
 src/test/java/org/apache/aurora/scheduler/thrift/aop/MockDecoratedThrift.java |   5 +-
 5 files changed, 20 insertions(+), 498 deletions(-)

Testing Done:
Green locally `./build-support/jenkins/build.sh`.

An example of the generated code:
```java
@Generated("uno.perk.forward.apt.Processor")
class MockDecoratedThriftForwarder implements AnnotatedAuroraAdmin {
  protected final AnnotatedAuroraAdmin annotatedAuroraAdmin;

  MockDecoratedThriftForwarder(AnnotatedAuroraAdmin annotatedAuroraAdmin) {
    this.annotatedAuroraAdmin = Objects.requireNonNull(annotatedAuroraAdmin);
  }

  @Override
  public Response getRoleSummary() throws TException {
    return this.annotatedAuroraAdmin.getRoleSummary();
  }
...
```

Reviewed at https://reviews.apache.org/r/40786/

[docs] Fix jobs list documentation in configuration tutorial.

Reviewed at https://reviews.apache.org/r/40881/

Remove SessionKey from APIs and implementations.

Since our auth* is now transport-level, we don't need it in the app-level
messages.

Bugs closed: AURORA-814

Reviewed at https://reviews.apache.org/r/40656/

Upgrade RBTools to 0.7.5

Upgrade to RBTools 0.7.5 and use the wheel hosted on PyPI.
Changelog: https://www.reviewboard.org/docs/releasenotes/rbtools/0.7.5/

Testing Done:
Modified the script and ran ./rbt

Reviewed at https://reviews.apache.org/r/40689/

Kill extraneous `make clean`.

We're building from a fresh tarball, so there is no need for a clean.
Importantly, the clean breaks building under centos 7 in
aurora-packaging, so this does less work and fixes that case.

Testing Done:
Locally green for `./build-support/thrift/thriftw 0.9.1 --version`
Bill confirmed the fix works for aurora-packaging CentOS 7.

Reviewed at https://reviews.apache.org/r/40675/

Set JDK and langauge level for entire project.

To ensure IDEA is configured correctly, set JDK and langauge level for entire
project.

Testing Done:
./gradlew idea
Verified that a freshly created project uses JDK 1.8 with JDK 8 langauge
features.

Reviewed at https://reviews.apache.org/r/40673/

Remove jersey dependency from commons code.

Reviewed at https://reviews.apache.org/r/40662/

Replace Twitter checkstyle with pants checkstyle.

This installs the ~newly split off pants python checks contrib plugin.
Release notes for that were here:
  https://pypi.python.org/pypi/pantsbuild.pants/0.0.58

The plugin provides both python checkstyle (`compile.pythonstyle`), and
a python eval task (`compile.python-eval`).  The `python-eval` is turned
off since at least one of the Aurora python targets has files that have
side-effects upon import (a repl is started).

Now style checks run before compile (and thus before tests) and they
benefit from fingerprinting; ie: if you test your changes, those tests
will run style checks and when you go to commit, those checks will not
be re-run by the commit hook (although files you did not test will still
need to be checked).

A few production files were fixed up according to style failures coming
from:
+ no space after comment opening '#'
+ unused variables
+ mis-aligned hanging closing parens.

Bugs closed: AURORA-1532

Reviewed at https://reviews.apache.org/r/40310/

Kill unused `.st` files and params.

This cleans up stringtemplate use in Aurora as directed by spikes on
https://issues.apache.org/jira/browse/AURORA-987 that included upgrading
to the stringtemplate 4.x series which errors when parameters used
anywhere in a template - including un-triggered conditionals - are not
bound.

The cleanups are valid under stringtemplate 3.x as verified by testing
the affected endpoints via the vagrant vm.

Reviewed at https://reviews.apache.org/r/40466/

Cleanup thermos_executor test pexes.

Previously these were built to the standard `dist/` dir, now they are
dumped to a tmp dir that's cleaned up.

Testing Done:
Green locally:
```
$ rm -rf dist/ && \
  ./pants test.pytest --no-fast src/test/python/apache/aurora/executor:
```

And no `dist/` created.

Bugs closed: AURORA-547

Reviewed at https://reviews.apache.org/r/40201/

Remove unused and deprecated code from commons.

Testing Done:
./gradlew build -Pq

Reviewed at https://reviews.apache.org/r/40510/

Modernize the pex venv script.

This converts from grabbing the old Twitter python pex to grabbing
modern pex to match the version specified in 3rdparty to help keep the
pex venv up to date with the codebase dependencies.

Testing Done:
Locally ran this 2x and observed both the proper version (1.1.0) and
proper use of the cached venv in the second run:
`git clean -fdx build-support && ./build-support/pex --version`

Reviewed at https://reviews.apache.org/r/40220/

Fix typo in the scheduler deployment documentation.

Reviewed at https://reviews.apache.org/r/36874/

Introduce a utility class to read executor configurations in JSON.

Reviewed at https://reviews.apache.org/r/40391/

Improve the isolation in the thrift build.

This improves the isolation of the thrift build by building a local
pinned bison dep. For one, this gets thrift 0.9.1 building on Arch
Linux, a rolling release that is otherwise too modern in its libs to
successfully build thrift 0.9.1.

Additionally, this change knocks out the checksumming TODO and now
checks all downloaded tarballs meet their expected hashes.  The
hashes were generated locally after checking the sha1's where
available.

Testing Done:
I can now run `./build-support/jenkins/build.sh` green locally.

I also got a hold of an OSX 10.10.5 box and was able to run
`./build-support/jenkins/build.sh` green on it using this change.

Reviewed at https://reviews.apache.org/r/40323/

Organize executor-related code into a package.

Reviewed at https://reviews.apache.org/r/40320/

Upgrade to pants `0.0.59` to avoid pytest errors.

The problem is described here:
  https://github.com/pantsbuild/pants/issues/2566

Changelogs are here:
  https://pypi.python.org/pypi/pantsbuild.pants/0.0.59

 pants.ini | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

Testing Done:
Before the fix stumbled into this:
```
$ ./build-support/jenkins/build.sh
...
11:22:51 00:00   [test]
11:22:51 00:00     [run_prep_command]
11:22:51 00:00     [test]
11:22:51 00:00     [pytest]
11:22:51 00:00       [run]

11:23:04 00:13         [chroot]
11:23:11 00:20   [complete]
               FAILURE

Exception message: Could not satisfy all requirements for pytest>=2.6,<2.7:
    pytest>=2.6,<2.7, pytest>=2.8.0(from: pytest-timeout)
```

That triggered a bit of a pants release firefight leading
to this RB and one for Medium's mono repo as well as patching
of the fix in at Square. Now
`./build-support/jenkins/build.sh` runs green as well.

Reviewed at https://reviews.apache.org/r/40334/

Isolate the `third_party/` repo to `mesos.native`.

This lifts `mesos.interface` and `mesos.native` out of
`requirements.txt`, ties their versions together and isolates the
custom repository needed by `mesos.native` to its `python_requirement`.

 3rdparty/python/BUILD            | 26 ++++++++++++++++++++++++++
 3rdparty/python/requirements.txt |  2 --
 pants.ini                        |  5 -----
 3 files changed, 26 insertions(+), 7 deletions(-)

Testing Done:
Successfully ran end-to-end with this change using a fresh vagrant
image and clean repo via:
```
vagrant destroy && \
bash src/test/sh/org/apache/aurora/e2e/test_end_to_end.sh
```

Bugs closed: AURORA-1538

Reviewed at https://reviews.apache.org/r/40324/

Upgrade to checkstyle 6.12.1

Reviewed at https://reviews.apache.org/r/40304/

Restore the third_party python repo, needed for mesos.native egg.

Bugs closed: AURORA-1538

Reviewed at https://reviews.apache.org/r/40299/

Fix `./pants test src/test/python::` to work out of the box.

The Aurora python tests cannot currently all be run together; so the ci
script passes --no-fast and devs need to remember to do this too.
Improve the dev experience by defaulting this option.

 build-support/jenkins/build.sh | 2 +-
 pants.ini                      | 7 +++++++
 2 files changed, 8 insertions(+), 1 deletion(-)

Testing Done:
Ran into this working https://issues.apache.org/jira/browse/AURORA-547.
After the fix, locally ran `./pants test src/test/python:: -- -v` green.
Previously this would lead to test failures and CPU starvation.

Bugs closed: AURORA-547

Reviewed at https://reviews.apache.org/r/40197/

[cli] Remove unused --local flag to job inspect command

Reviewed at https://reviews.apache.org/r/40249/

Eliminate OOB pip install of python deps in CI.

Under older pants, and thus older pex, distributions were fetched using
urllib and were not robust to flaky connections. Now that Aurora is on
modern pants and pex, which uses the `requests` library for fetching and
includes 5 retries by default, this step should no longer be needed to
ensure stable CI runs.

 build-support/jenkins/build.sh | 7 -------
 pants.ini                      | 5 -----
 2 files changed, 12 deletions(-)

Testing Done:
I still can't quite run `./build-support/jenkins/build.sh` straight up
due to https://issues.apache.org/jira/browse/AURORA-1083 but ran the
following successfully locally which forces re-download of requirements
by pants:
```
$ ./pants clean-all test.pytest --no-fast src/test/python::
```

Bugs closed: AURORA-954

Reviewed at https://reviews.apache.org/r/40208/

Incrementing snapshot version to 0.11.0-SNAPSHOT.

Updating CHANGELOG for 0.10.0 release.

Revert .auroraversion and CHANGELOG for 0.10.0 RC2

Incrementing snapshot version to 0.11.0-SNAPSHOT.

Updating CHANGELOG for 0.10.0 release.

Revert .auroraversion for 0.10.0-rc1.

Trim whitespace for pants script.

Contains https://github.com/pantsbuild/setup/pull/9

Reviewed at https://reviews.apache.org/r/40212/

Update pants bootstrap script to be agnostic to sed version.

Reviewed at https://reviews.apache.org/r/40204/

Create ExecutorSettings closer to command line arguments.

This is prep work for https://issues.apache.org/jira/browse/AURORA-1376

Reviewed at https://reviews.apache.org/r/40149/

Clarify the commit process for new contributors.

Reviewed at https://reviews.apache.org/r/40161/

Upgrade Aurora to pants 0.0.57.

Bugs closed: AURORA-1499

Reviewed at https://reviews.apache.org/r/39784/

Incrementing snapshot version to 0.11.0-SNAPSHOT.

Updating CHANGELOG for 0.10.0 release.

Deleting unused function deprecation_warning
Adding test coverage to base, job_monitor, quota_check, scheduler_client

Bugs closed: AURORA-1536

Reviewed at https://reviews.apache.org/r/39958/

Callback should only be called on drained hosts.

Bugs closed: AURORA-1537

Reviewed at https://reviews.apache.org/r/40104/

Adding GPG key for zmanji@apache.org.

Reviewed at https://reviews.apache.org/r/40043/

Adding build target to build kerberos auth module.

Reviewed at https://reviews.apache.org/r/40042/

Adding help message in case kerberos auth fails.

Bugs closed: AURORA-1364

Reviewed at https://reviews.apache.org/r/39797/

upgrade psutil to 3.2.2

Bugs closed: AURORA-1531

Reviewed at https://reviews.apache.org/r/39822/

Retry scheduler connection after unknown failures.

Bugs closed: AURORA-1533

Reviewed at https://reviews.apache.org/r/39854/

Eliminate duplicate docu in configuration tutorial.

Bugs closed: AURORA-829

Reviewed at https://reviews.apache.org/r/39823/

Remove ChainedPathDetector and root argument from the observer.

Testing Done:
e2e tests passed

Bugs closed: AURORA-1338

Reviewed at https://reviews.apache.org/r/39629/

Modify ClusterStateImpl to be thread safe.

ClusterStateImpl exposes a synchronized multimap which does not have a
thread-safe implementation of `keySet`. This patch revises the
`ClusterStateImpl` to return an immutable copy.

Bugs closed: AURORA-1510

Reviewed at https://reviews.apache.org/r/39670/

Add note to CONTRIBUTING.md about default reviewers.

Reviewed at https://reviews.apache.org/r/39764/

fix client build path in the docs

Bugs closed: AURORA-1529

Reviewed at https://reviews.apache.org/r/39742/

Suppress no-op delete log noise during scheduler startup.

Reviewed at https://reviews.apache.org/r/39691/

Add missing binding for ZooKeeperTestServer when running a local scheduler.

Reviewed at https://reviews.apache.org/r/39669/

Add listener to trigger scheduler shutdown on service failure.

Bugs closed: AURORA-1511

Reviewed at https://reviews.apache.org/r/39631/

Remove unused Connection interface.

Reviewed at https://reviews.apache.org/r/39633/

Explicitly declare FindBugs version and effort level.

Reviewed at https://reviews.apache.org/r/39630/

Ignore serverInfo on the client side.

The design of this check is flawed - the client has already sent an RPC
to the scheduler and received a response for it, meaning the request has
already been processed and this check only serves to ignore its results.

Reviewed at https://reviews.apache.org/r/39563/

Remove callable check.

Bugs closed: AURORA-1524

Reviewed at https://reviews.apache.org/r/39572/

Always set SessionKey to empty in the client.

Always set SessionKey to empty on the client, as it's now ignored by
the scheduler.

Testing Done:
./pants test.pytest --no-fast src/test/python/::

./src/test/sh/org/apache/aurora/e2e/test_end_to_end.sh

Reviewed at https://reviews.apache.org/r/39532/

Ignore all SessionKeys.

This change ignores all SessionKeys. Since the scheduler was doing
"requireNonNull" on SessionKey before the client needs to continue
to set SessionKey to a non-null value for this release. In the next
release the parameter can be dropped completely.

Apologies for the large diff, thankfully it's mostly red. Coverage in
SchedulerThriftInterface is very high, most of the deleted tests deal
with branches related to authentication or authorization failures,
as these are now enforced in a different layer.

Testing Done:
./graldew -Pq clean build

Reviewed at https://reviews.apache.org/r/39525/

Adding job update diff details into "aurora job diff" command.

Bugs closed: AURORA-1516

Reviewed at https://reviews.apache.org/r/39366/

Adding getJobUpdateDiff thrift API.

Bugs closed: AURORA-1515

Reviewed at https://reviews.apache.org/r/39143/

Converting to Range in ConfigGroup thrift.

Reviewed at https://reviews.apache.org/r/39150/

Fix minor inconsistencies in the storage documentation.

Reviewed at https://reviews.apache.org/r/39169/

Add a note about updating the aurora-packagine repo when changing the gradle version.

Reviewed at https://reviews.apache.org/r/39114/

Upgrade to gradle 2.7 and checkstyle 6.11.2.

Reviewed at https://reviews.apache.org/r/39095/

Better handling of enums and constructor-only classes in test coverage check.

Reviewed at https://reviews.apache.org/r/39089/

Use Shiro to generate audit messages when available.

This ensures that Shiro is always used to generate audit messages when available.

Testing Done:
./gradlew build

Reviewed at https://reviews.apache.org/r/38906/

Clean up instance id range display. Also remove deprecated max time until running, since it's unused by the server updater.

Reviewed at https://reviews.apache.org/r/38904/