OSCHINA-MIRROR/donhui-JENKINS_HOME

Автоматическое ежедневное резервное копирование JENKINS_HOME в систему управления версиями SVN

Jenkins — это расширяемый открытый инструмент непрерывной интеграции, который также является одним из самых популярных инструментов этого типа.

Основные возможности Jenkins

Легкая установка
Легкое конфигурирование
Поддержка набора изменений
Постоянные ссылки
Интеграция с RSS/E-mail/IM
После факта тегирование
Отчеты тестирования JUnit/TestNG
Распределенные сборки
Указатель отпечатков файлов
Поддержка плагинов

Поддержка плагинов делает Jenkins гибким и расширяемым.

Структура директории JENKINS_HOME

Файлы, связанные с Jenkins, хранятся в файловой системе, а JENKINS_HOME используется для хранения этих файлов, таких как файлы конфигурации системы, плагины, файлы конфигурации каждого задания и т.д.

Структура директории JENKINS_HOME выглядит следующим образом:

 +- config.xml     (корневая конфигурация Jenkins)
 +- *.xml          (другие глобальные файлы конфигурации)
 +- userContent    (файлы в этой директории будут доступны по адресу http://сервер/userContent/)
 +- fingerprints   (хранение записей отпечатков)
 +- plugins        (хранение плагинов)
 +- jobs
     +- [ИМЯ_ЗАДАНИЯ]      (поддиректория для каждого задания)
         +- config.xml     (файл конфигурации задания)
         +- latest         (символическая ссылка на последний успешный сбор)
         +- builds
             +- [ID_СБОРА]     (для каждого сбора)
                 +- build.xml      (сводка результата сборки)
                 +- log            (файл лога)
                 +- changelog.xml  (лог изменения)
+- workspace      (рабочий каталог для системы управления версиями)

Обновление, миграция, резервное копирование или восстановление Jenkins требуют работы с директорией JENKINS_HOME. Для резервного копирования достаточно сделать копию JENKINS_HOME.

Некоторые директории внутри JENKINS_HOME не требуются для резервного копирования, такие как workspace.

Это потому что workspace — это рабочий каталог системы управления версиями, и все файлы в нем могут быть получены из системы управления версиями.

Плагины резервного копирования Jenkins

Jenkins является расширяемым и предлагает множество плагинов, среди которых есть два плагина для резервного копирования: thinBackup и backup.

Плагин thinBackup автоматически создает резервные копии глобальной конфигурации и конфигураций заданий (не включая archive и workspace).

Плагин backup позволяет делать резервные копии JENKINS_HOME, выбирая, какие директории следует включить в резервное копирование (например, workspace, история сборок и т.д.).

Основные различия между плагинами backup и thinBackup заключаются в следующем:

Плагин backup может быть запущен только вручную, в то время как thinBackup может быть настроен на регулярное выполнение.
Плагин backup позволяет выбрать содержимое для резервного копирования, в то время как thinBackup ограничивается важнейшими данными.

Эти два плагина обычно удовлетворяют основные требования к резервному копированию.

Часто серверы непрерывной интеграции используются только для этой цели, и Jenkins установлен на специализированном сервере (например, виртуальной машине). Однако если эта машина выйдет из строя, восстановление займет некоторое время, и восстановление данных будет затруднено (оба плагина выполняют резервное копирование на локальном сервере).

Поэтому для защиты от такого сценария следует выполнять резервное копирование JENKINS_HOME на другом месте.

Резервное копирование JENKINS_HOME в систему управления версиями

Автор выбрал резервное копирование JENKINS_HOME в систему управления версиями SVN:

Выбор системы управления версиями — SVN
Ежедневное автоматическое резервное копирование JENKINS_HOME в SVN
Кроме того, через SVN можно сравнивать изменения между двумя редакциями, просматривать изменения и легко восстанавливать данные

Перед началом резервного копирования необходимо выполнить несколько начальных шагов:

Создайте новую директорию в SVN-версионной базе данных, например, JENKINS_HOME_BAK
Выполните checkout JENKINS_HOME_BAK на сервере Jenkins в определенной папке, например E:/JENKINS_HOME_BAK

Конкретные шаги резервного копирования следующие:

Копируйте JENKINS_HOME в JENKINS_HOME_BAK
Добавьте в SVN файлы и директории, которые еще не находятся под управлением версий (операция svn add)
Пройдитесь по всем файлам и директориям в JENKINS_HOME_BAK и удалите те, которые отсутствуют в JENKINS_HOME (операция svn delete)
Наконец, выполните команду svn commit, чтобы отправить изменения в SVN-версионную базу данных

Если второй шаг выполняется вручную, эти шаги становятся трудными для реализации, поэтому при ручном резервном копировании можно пропустить четвертый шаг.

Эти процессные шаги являются повторяющимися и сложными для выполнения вручную, поэтому их следует автоматизировать.

Для автоматизации резервного копирования используются скрипты, которые реализуют вышеупомянутые четыре шага:

Первый шаг реализуется с помощью скриптов Apache Ant
- Скрипты Apache Ant не только используются для сборки, но и для других задач
- Ант имеет гибкий синтаксис и множество задач
- Копирование выполняется с использованием задачи copy Ant, которая использует excludes для исключения файлов и директорий, которые не должны быть скопированы (например, workspace)
- Задача copy Ant может выполнять инкрементальное копирование
Второй, третий и четвертый шаги реализованы с помощью Python и команд клиента SVN
- Выбор Python связан с тем, что автор недавно изучил этот язык
- Выбор команд клиента SVN вместо pysvn связан с проблемами установки pysvn на WindowsКроме того, автоматизация резервного копирования может быть организована путём создания задания Jenkins для периодического выполнения резервного копирования JENKINS_HOME.

Конкретные реализации скриптов представлены здесь:

oscgit: donhui/JENKINS_HOME_BACKUP
github: donhui/JENKINS_HOME_BACKUP

Дополнительно, ниже указаны используемые инструменты и среды:

* Jenkins 1.592
* Python 2.7.8
* Команды клиента SVN (установлены вместе с TortoiseSVN)
* Apache Ant 1.8.1
* Тестировано на Windows и Linux
* Тестировано на SVN клиенте версий 1.6 и выше