0.5.1 (2020-07-31)

Новые функции и улучшения

• Добавлены подробности сообщения об ошибке.
• Поддержка языка программирования Golang.
• Сценарии установки веб-драйверов для Chrome Driver и Firefox.
• Система задач. «Системная задача» похожа на обычную задачу паука, она позволяет пользователям просматривать журналы общих задач, таких как установка языков.
• Изменён метод установки языков с RPC на системные задачи.

Исправления ошибок

• Исправлена ошибка 500 на странице рынка пауков в Spider Market. #808.
• Исправлено несколько проблем с переводом.
• Исправлена ошибка 500 на странице деталей задачи. #810.
• Исправлен сброс пароля. #811.
• Исправлена проблема невозможности загрузки CSV. #812.
• Исправлена невозможность установки node.js. #813.
• Исправлено отключённое состояние для пакетного добавления расписаний. #814.

0.5.0 (2020-07-19)

Новые функции и улучшения

• Рынок пауков. Позволяет пользователям загружать пауков с открытым исходным кодом в Crawlab.
• Пакетные действия. Позволяют пользователям взаимодействовать с Crawlab пакетами, например, запускать задачи пакетами, удалять пауков пакетами и т. д.
• Миграция драйвера MongoDB в MongoDriver.
• Рефакторинг и оптимизация логики, связанной с узлами.
• Изменение значения по умолчанию task.workers на 16.
• Изменение значения по умолчанию nginx client_max_body_size на 200m.
• Запись журналов в ElasticSearch.
• Отображение сведений об ошибках на странице Scrapy.
• Убрана страница Challenge.
• Перемещены страницы обратной связи и отказа от ответственности в панель навигации.

Исправление ошибок

• Ошибка, из-за которой журнал не истекал из-за сбоя при создании индекса TTL.
• Установка длительности истечения срока действия журнала по умолчанию на 1 день.
• Индекс task_id не создан.
• Fix docker-compose.yml.
• Исправлена 404 страница.
• Исправлена невозможность создания рабочего узла перед главным узлом.

0.4.10 (2020-04-21)

Новые функции и улучшения

• Улучшенное управление журналами. Централизованное хранение журналов в MongoDB, уменьшена зависимость от PubSub, что позволяет обнаруживать ошибки в журналах.
• API-токен. Позволяет пользователям создавать API-токены и использовать их для интеграции в свои системы.
• Web Hook. Запускает HTTP-запрос Web Hook на заранее определённый URL при запуске или завершении задачи.
• Автоматическая установка зависимостей. Позволяет автоматически устанавливать зависимости из requirements.txt или package.json.
• Автоматическое сбор результатов. Устанавливает сбор результатов в results_<spider_name>, если он не установлен.
• Оптимизированный список проектов. Не отображает элемент «Нет проекта» в списке проектов.
• Обновление Node.js. Обновление версии Node.js с v8.12 до v10.19.
• Добавить кнопку запуска на странице расписания. Позволяет пользователям вручную запускать задачу на странице расписания.

Исправление ошибок

• Невозможно зарегистрироваться. #670.
• Вкладка расписания пауков показывает секунду в выражении cron. #678.
• Отсутствуют ежедневные статистические данные в пауке. #684.
• Количество результатов не обновляется вовремя. #689.

0.4.9 (2020-03-31)

Новые функции и улучшения

• Задачи. Пользователи могут выполнять различные задачи в зависимости от своих действий.
• Более продвинутый контроль доступа. Более детальный контроль доступа, например, обычные пользователи могут только просматривать/управлять своими собственными пауками/проектами, а администраторы могут просматривать/управлять всеми пауками/проектами.
• Обратная связь. Позволяет пользователям отправлять отзывы и оценки команде Crawlab.
• Лучшие показатели домашней страницы. Оптимизированные показатели отображаются на домашней странице.
• Конфигурируемые пауки преобразованы в настраиваемые пауки. Позволяет пользователям преобразовывать своих конфигурируемых пауков в настраиваемых пауков, которые также являются пауками Scrapy.
• Просмотр задач, запущенных по расписанию. Позволяет пользователям просматривать задачи, запущенные по расписанию. #648.
• Поддержка результатов Дедупликация. Разрешить пользователям настраивать дедупликацию результатов. #579.

Поддержка перезапуска задач. Разрешить пользователям повторно запускать исторические задачи.

Исправления ошибок

CLI не работает в Windows. #580.

Ошибка повторной загрузки. #643, #640.

Отсутствуют папки при загрузке. #646.

Невозможно добавить расписания на странице Spider.

0.4.8 (2020-03-11)

Новые функции и улучшения

• Поддержка установки дополнительных языков программирования. Теперь пользователи могут устанавливать или предварительно устанавливать больше языков программирования, включая Java, .Net Core и PHP.
• Оптимизация пользовательского интерфейса установки. Пользователи могут лучше просматривать и управлять установками на странице списка узлов.
• Дополнительная поддержка Git. Разрешить пользователям просматривать записи коммитов Git и разрешать проверку соответствующих коммитов.
• Поддержка типа регистрации узла по имени хоста. Пользователи могут установить имя хоста в качестве ключа узла в качестве уникального идентификатора.
• Поддержка RPC. Добавлена поддержка RPC для лучшего управления взаимодействием между узлами.
• Запуск на главном переключателе. Пользователи могут определить, следует ли запускать задачи на главном узле. Если нет, все задачи будут выполняться только на рабочих узлах.
• Учебник отключён по умолчанию.
• Добавлена боковая панель со связанной документацией.
• Оптимизирована страница загрузки.

Исправление ошибок

• Дублирование узлов. #391.
• Дублированная загрузка пауков. #603.
• Сбой установки зависимостей приводит к неработоспособности функций установки зависимостей. #609.
• Создание задач для автономных узлов. #622.

0.4.7 (2020-02-24)

Новые функции и улучшения

• Улучшенная поддержка Scrapy. Идентификация пауков, конфигурация settings.py, выбор уровня журнала, выбор паука. #435.
• Синхронизация Git. Разрешите пользователям синхронизировать проекты Git с Crawlab.
• Долгосрочные задачи поддерживаются. Пользователи могут добавлять долго выполняющиеся пауки, которые должны работать без завершения. #425.
• Оптимизация списка пауков. Подсчёт задач по статусу, всплывающее окно с подробными сведениями о задачах, легенда. #425.
• Проверка обновлений. Проверяйте наличие последней версии и уведомляйте пользователей об обновлении.
• Групповые операции со спайдерами. Разрешить пользователям запускать/останавливать задачи пауков и удалять пауков группами.
• Копирование пауков. Разрешить пользователям копировать существующего паука для создания нового.
• QR-код группы Wechat.

Исправление ошибок

• Проблема выбора расписания пауков. Поля не реагируют на изменение паука.
• Конфликт заданий Cron. Возможная ошибка, когда два паука установлены на одно и то же время своих заданий cron. #515, #565.
• Проблемы с журналом задач. Разные задачи записывают в один и тот же файл журнала, если они запускаются одновременно. #577.
• Параметры фильтрации списка задач неполные.

0.4.6 (2020-02-13)

Новые функции и улучшения

• SDK для Node.js. Пользователи могут применять SDK в своих пауках Node.js.
• Оптимизация управления журналами. Поиск журналов, выделение ошибок, автоматическая прокрутка.
• Оптимизация процесса выполнения задач. Разрешить пользователям перенаправляться на страницу сведений о задаче после запуска задачи.
• Оптимизация отображения задач. Добавлено «Param» в таблице последних задач на странице сведений о пауке. #295.
• Список пауков оптимизирован. Добавлены «Время обновления» и «Время создания» на странице списка пауков.
• Заполнитель загрузки страницы.

Исправление ошибок

• Потеря фокуса в конфигурации расписания. #519.
• Невозможно загрузить паука с помощью CLI. #524. ### Функции / улучшения

• Интерактивное руководство. Поможет пользователям разобраться с основными функциями Crawlab.
• Глобальные переменные среды. Позволят пользователям устанавливать глобальные переменные среды, которые будут передаваться во все программы-пауки. #177
• Проект. Позволит пользователям связывать пауков с проектами. #316
• Демо-пауки. Добавлены демо-пауки при инициализации Crawlab. #379
• Оптимизация администратора пользователя. Ограничит привилегии администраторов. #456
• Оптимизация страницы настроек.
• Оптимизация результатов задач.

Исправления ошибок

• Ошибка «Невозможно найти файл паука». #485
• Нажатие на кнопку «Удалить» приводит к перенаправлению. #480
• Невозможно создать файлы в пустом пауке. #479
• Ошибка загрузки результатов. #465
• Ошибки CLI crawlab-sdk. #458
• Проблема обновления страницы. #441
• Результаты не поддерживают JSON. #202
• Получение всех пауков после удаления паука.
• Предупреждение i18n.

0.4.4 (2020-01-17)

Функции / Улучшения

• Уведомления по электронной почте. Позволят отправлять уведомления по электронной почте.
• Уведомление робота DingTalk. Позволят отправлять уведомления робота DingTalk.
• Уведомление Wechat Robot. Позволят отправлять уведомления Wechat Robot.
• Адрес API оптимизирован. Добавлен относительный URL-адрес в интерфейсе, чтобы пользователям не приходилось явно указывать CRAWLAB_API_ADDRESS.
• Совместимость SDK. Позволит интегрировать Scrapy или общие пауки с Crawlab SDK.
• Улучшенное управление файлами. Добавлена древовидная боковая панель файлов, позволяющая пользователям редактировать файлы намного проще.
• Расширенное расписание Cron. Позволит редактировать расписание Cron с помощью визуализированного редактора Cron.

Исправление ошибок

• nil retuened ошибка.
• Ошибка при использовании HTTPS.
• Не удаётся запустить настраиваемых пауков в списке пауков.
• Отсутствует проверка формы перед загрузкой файлов пауков. API для получения версии

• Настроить регистрацию пользователей.

• Разрешить добавление новых пользователей.

• Более продвинутое управление файлами. Разрешить пользователям добавлять, редактировать, переименовывать и удалять файлы.

• Оптимизированный процесс создания паука. Разрешить пользователям создавать пустой настроенный паук перед загрузкой zip-файла.

• Улучшенное управление задачами. Разрешить пользователям фильтровать задачи, выбирая определённые критерии.

Исправления ошибок

• Дублированные узлы.

• Ошибка «mongodb недоступен».

Версия 0.4.1 (2019-12-13)

Новые функции и улучшения

• Оптимизация Spiderfile. Стадии изменены с словаря на массив.

• Обновление Baidu Tongji.

Исправления ошибок

• Невозможно отобразить запланированные задачи.

• Регистрация дублированных узлов.

Версия 0.4.0 (2019-12-06)

Новые функции и улучшения

• Конфигурируемый паук. Разрешить пользователям использовать Spiderfile для настройки правил сканирования.

• Режим выполнения. Разрешить пользователям выбирать три режима выполнения задач: «Все узлы», «Выбранные узлы» и «Случайный выбор».

Исправления ошибок

• Задача случайно убита.

• Документация исправлена.

• Прямое развёртывание несовместимо с Windows.

• Файлы журнала утеряны.

Версия 0.3.5 (2019-10-28)

Новые функции и улучшения

• Изящное завершение работы.

• Оптимизация информации о ноде.

• Добавление системных переменных среды в задачи.

• Автоматическое обновление журнала задач.

• Включение HTTPS-развёртывания.

Исправления ошибок

• Не удаётся получить информацию о списке пауков в запланированных заданиях.

• Не удаётся получить информацию об узле от рабочих узлов.

• Невозможно выбрать узел при попытке запустить задачи паука.

• Невозможность получить количество результатов при большом объёме результатов.

• Проблема с узлом в запланированных задачах.

Версия 0.3.1 (2019-08-25)

Новые функции и улучшения

• Оптимизация образа Docker. Разделение образа Docker на мастер, рабочий и интерфейс с использованием образа Alpine.

• Модульные тесты. Часть кода бэкенда покрыта модульными тестами.

• Оптимизация интерфейса. Оптимизация страницы входа, размера кнопок и подсказок интерфейса загрузки.

• Более гибкое управление узлами. Разрешить пользователям передавать переменную в качестве ключа для регистрации узла вместо MAC по умолчанию.

Исправления ошибок

• Ошибки при загрузке больших файлов пауков. Проблема сбоя памяти при загрузке больших файлов пауков.

• Неспособность синхронизировать пауков. Исправлена путём увеличения уровня разрешений на запись при синхронизации файлов пауков. ### 114 Проблема со страницей паука. Проблема устранена путём удаления поля «Сайт».

112

Проблема с отображением узла. Узлы отображаются неправильно при запуске контейнеров Docker на нескольких машинах.

Версия 0.3.0 (2019-07-31)

Функции / улучшения

• Golang Backend: код, написанный на Python, перенесён в Golang, что обеспечивает большую стабильность и производительность.
• Визуализация типологии узлов: визуализация типологии узлов.
• Информация о системе узла: доступна информация о системе, включая ОС, процессоры и исполняемые файлы.
• Улучшенное отслеживание узлов: узлы отслеживаются и регистрируются через Redis.
• Управление файлами: доступно редактирование файлов пауков онлайн, включая подсветку кода.
• Вход/регистрация/управление пользователями: требуется вход пользователей для использования Crawlab, разрешена регистрация пользователей и управление ими, реализована некоторая ролевая авторизация.
• Автоматическое развёртывание пауков: пауки развёртываются/синхронизируются на всех онлайн-узлах автоматически.
• Уменьшенный образ Docker: уменьшен размер образа Docker с 1,3 ГБ до ~700 МБ за счёт применения многоэтапной сборки.

Исправления ошибок

• Статус узла. Статус узла не меняется, даже если он фактически переходит в автономный режим. #87
• Ошибка развёртывания паука. Исправлена проблема с автоматическим развёртыванием пауков. #83
• Узел не отображается. Узел не может отображаться онлайн. #81
• Не работает задание cron. Исправлено с помощью нового бэкенда Golang. #64
• Ошибки Flower. Исправлены с помощью нового бэкэнда Golang. #57

Версия 0.2.4 (2019-07-07)

Функции / Улучшения

• Документация: улучшенная и более подробная документация.
• Улучшенный Crontab: создание выражений crontab через интерфейс crontab.
• Повышенная производительность: переход от собственного движка Flask к gunicorn. #78

Исправление ошибок

• Удаление паука: удаление паука приводит не только к удалению записи в БД, но и к удалению связанной папки, задач и расписаний. #69
• Аутентификация MongoDB: позволяет пользователю указывать authenticationDatabase для подключения к mongodb. #68
• Совместимость с Windows: добавлен eventlet в requirements.txt. #59

Версия 0.2.3 (2019-06-12)

Функции / Улучшения

• Docker: пользователь может запустить образ Docker для ускорения развёртывания.
• CLI: пользователь может использовать интерфейс командной строки для выполнения программ Crawlab.
• Загрузка паука: пользователь может загрузить настраиваемого паука в Crawlab.
• Редактирование полей в предварительном просмотре: пользователь может редактировать поля при предварительном просмотре данных в настраиваемом пауке.

Исправление ошибок

• Пагинация пауков. Исправлена ошибка пагинации на странице пауков.

Версия 0.2.2 (2019-05-30)

Функции / Улучшения

• Автоматическое извлечение полей: автоматическое извлечение данных полей на страницах списков для настраиваемых пауков.
• Скачивание результатов: разрешено скачивание результатов в виде файла CSV.
• Baidu Tongji: пользователям предоставляется возможность выбора отправки информации об использовании в Baidu Tongji.

Исправление ошибок

• Пагинация страницы результатов: исправлена ошибка, из-за которой пагинация на странице результатов работала некорректно. #45
• Дублированные триггеры задач расписания: установлено значение Flask DEBUG как False, чтобы задачи расписания не запускались дважды. #32
• Среда интерфейса: добавлена переменная среды VUE_APP_BASE_URL в качестве переменной среды в производственном режиме, чтобы вызовы API не всегда были localhost в развёрнутой среде. #30

Версия 0.2.1 (2019-05-27)

• Настраиваемый паук: пользователи могут создавать пауков для сбора данных без программирования.

Версия 0.2 (2019-05-10)

• Расширенная статистика: расширенная аналитика в подробном представлении пауков.
• Данные сайтов: добавлен список сайтов. (Китай) для проверки пользователями такой информации, как robots.txt и время отклика/код домашней страницы.

0.1.1 (2019-04-23)

— Основные статистические данные: пользователь может просматривать основные статистические данные, такие как количество неудачных задач и количество результатов на страницах пауков и задач.

— Информация о задачах в режиме, близком к реальному времени: периодический (каждые 5 секунд) опрос данных с сервера позволяет просматривать информацию о задачах почти в реальном времени.

— Запланированные задачи: пользователи могут настраивать запланированные/периодические задачи, подобные cron, используя apscheduler.

0.1 (2019-04-17)

— Первый выпуск.