0.6.0 (TBC)

(TBC)

0.5.1 (2020-07-31)

Функции / улучшения

• Добавлены подробности сообщения об ошибке.
• Поддержка языка программирования Golang.
• Установлены скрипты для установки веб-драйверов Chrome Driver и Firefox.
• Поддерживаются системные задачи. Системная задача похожа на обычную задачу паука, она позволяет пользователям просматривать журналы общих задач, таких как установка языков.
• Изменён метод установки языков с RPC на системные задачи.

Исправления ошибок

• Исправлена ошибка 500 на странице рынка пауков в Spider Market. #808.
• Исправлено несколько проблем с переводом.
• Исправлена ошибка 500 на странице деталей задачи. #810.
• Исправлен сброс пароля. #811.
• Исправлена проблема с невозможностью загрузить CSV. #812.
• Исправлена невозможность установить node.js. #813.
• Исправлено отключённое состояние для пакетного добавления расписаний. #814.

0.5.0 (2020-07-19)

Функции / Улучшения

• Рынок пауков. Позволяет пользователям загружать пауков с открытым исходным кодом в Crawlab.
• Пакетные действия. Позволяют пользователям взаимодействовать с Crawlab пакетами, например, запускать задачи пакетами, удалять пауков пакетами и т. д.
• Миграция драйвера MongoDB на MongoDriver.
• Рефакторинг и оптимизация логики, связанной с узлами.
• Изменение значения по умолчанию task.workers на 16.
• Изменение значения по умолчанию nginx client_max_body_size на 200m.
• Поддержка записи журналов в ElasticSearch.
• Отображение подробностей ошибки на странице Scrapy.
• Убрана страница Challenge.
• Страницы обратной связи и отказа от ответственности перемещены в панель навигации.

Исправление ошибок

• Ошибка, из-за которой журнал не истекал, исправлена из-за невозможности создать индекс TTL.
• По умолчанию срок действия журнала установлен на 1 день.
• Индекс task_id не создан.
• docker-compose.yml исправлен.
• Исправлена 404 страница.
• Исправлена невозможность создания рабочего узла перед главным узлом.

0.4.10 (2020-04-21)

Функции / Улучшения

• Улучшенное управление журналами. Централизованное хранение журналов в MongoDB, уменьшена зависимость от PubSub, что позволяет обнаруживать ошибки в журналах.
• API-токен. Позволяет пользователям создавать API-токены и использовать их для интеграции в свои системы.
• Web Hook. Запускает HTTP-запрос Web Hook на заранее определённый URL при запуске или завершении задачи.
• Автоматическая установка зависимостей. Позволяет автоматически устанавливать зависимости из requirements.txt или package.json.
• Автоматическое сбор результатов. Устанавливает сбор результатов в results_<spider_name>, если он не установлен.
• Оптимизированный список проектов. Не отображает элемент «Нет проекта» в списке проектов.
• Обновление Node.js. Обновление версии Node.js с v8.12 до v10.19.
• Добавить кнопку запуска на странице расписания. Позволяет пользователям вручную запускать задачу на странице расписания.

Исправление ошибок

• Невозможно зарегистрироваться. #670.
• Вкладка расписания пауков показывает секунду в выражении cron. #678.
• Отсутствует ежедневная статистика в пауке. #684.
• Количество результатов не обновляется вовремя. #689.

0.4.9 (2020-03-31)

Функции / Улучшения

• Задачи. Пользователи могут выполнять различные задачи в зависимости от своих действий.
• Более продвинутый контроль доступа. Более детальный контроль доступа, например, обычные пользователи могут только просматривать/управлять своими собственными пауками/проектами, а администраторы могут просматривать/управлять всеми пауками/проектами.
• Обратная связь. Позволяет пользователям отправлять отзывы и оценки команде Crawlab.
• Лучшие показатели домашней страницы. Оптимизированные показатели отображаются на домашней странице.
• Настраиваемые пауки преобразованы в настраиваемых пауков. Позволяют пользователям преобразовывать своих настраиваемых пауков в настраиваемых пауков, которые также являются пауками Scrapy.
• Просмотр задач, запущенных по расписанию. Позволяет пользователям просматривать задачи, запущенные по расписанию. #648. # 0.4.5 (2020-02-03)

Features / Enhancement

• Интерактивный туториал. Руководство для пользователей по основным функциям Crawlab.
• Глобальные переменные среды. Позволяют пользователям устанавливать глобальные переменные среды, которые будут передаваться во все программы-пауки. #177
• Проект. Позволяет пользователям связывать пауков с проектами. #316
• Демо-пауки. Добавлены демо-пауки при инициализации Crawlab. #379
• Оптимизация администратора пользователя. Ограничивает привилегии администраторов. #456
• Настройка страницы.
• Результаты задач.

Исправления ошибок

• Не удаётся найти файл паука. #485
• Нажатие на кнопку удаления приводит к перенаправлению. #480
• Невозможно создать файлы в пустом пауке. #479
• Ошибка загрузки результатов. #465
• Ошибки CLI crawlab-sdk. #458
• Проблема обновления страницы. #441
• Поддержка JSON. #202
• Получение всех пауков после удаления паука.
• Предупреждение i18n.

0.4.4 (2020-01-17)

Функции / Улучшения

• Уведомления по электронной почте. Разрешает пользователям отправлять уведомления по электронной почте.
• Уведомление робота DingTalk. Разрешает пользователям отправлять уведомления роботам DingTalk.
• Уведомление Wechat Robot. Разрешает пользователям отправлять уведомления Wechat роботам.
• Адрес API. Оптимизирован адрес API. Добавлен относительный URL-адрес в интерфейсе, чтобы пользователям не приходилось явно указывать CRAWLAB_API_ADDRESS.
• Совместимость SDK. Разрешает пользователям интегрировать Scrapy или общие пауки с Crawlab SDK.
• Улучшенное управление файлами. Добавлена древовидная боковая панель файлов, позволяющая пользователям редактировать файлы гораздо проще.
• Расширенное расписание Cron. Разрешает пользователям редактировать расписание cron с помощью визуализированного редактора cron.

Исправление ошибок

• nil retuened error.
• Ошибка при использовании HTTPS.
• Невозможно запустить настраиваемых пауков в списке пауков.
• Отсутствует проверка формы перед загрузкой файлов пауков. Call API для получения версии.

Настроить регистрацию пользователей.

Разрешить добавление новых пользователей.

Более продвинутое управление файлами. Разрешить пользователям добавлять / редактировать / переименовывать / удалять файлы.

Оптимизированный процесс создания пауков. Разрешить пользователям создавать пустой настроенный паук перед загрузкой zip-файла.

Улучшенное управление задачами. Разрешить пользователям фильтровать задачи, выбирая определённые критерии.

Исправления ошибок

Дублированные узлы.

«Ошибка mongodb недоступна».

Версия 0.4.1 (2019-12-13)

Новые функции и улучшения

Оптимизация Spiderfile. Этапы изменены с словаря на массив.

Обновление Baidu Tongji.

Исправление ошибок

Невозможно отобразить запланированные задачи.

Регистрация дублированных узлов.

Версия 0.4.0 (2019-12-06)

Новые функции и улучшения

Настраиваемый паук. Разрешить пользователям использовать Spiderfile для настройки правил сканирования.

Режим выполнения. Разрешить пользователям выбирать 3 режима выполнения задач: Все узлы, Выбранные узлы и Случайный.

Исправление ошибок

Задача случайно убита.

Исправление документации.

Прямое развёртывание несовместимо с Windows.

Потеряны файлы журналов.

Версия 0.3.5 (2019-10-28)

Новые функции и улучшения

Изящное завершение работы.

Оптимизация информации о узлах.

Добавление системных переменных среды в задачи.

Автоматическое обновление журнала задач.

Включить развёртывание по HTTPS.

Исправление ошибок

Не удаётся получить информацию о списке пауков в запланированных заданиях.

Не удаётся получить информацию об узле от рабочих узлов.

Нельзя выбрать узел при попытке запустить задачи паука.

Невозможно получить количество результатов при большом объёме результатов.

Проблема с узлом в запланированных задачах.

Версия 0.3.1 (2019-08-25)

Новые функции и улучшения

Оптимизация образа Docker. Разделить образ Docker на мастер, рабочий, интерфейс с образом Alpine.

Модульные тесты. Часть кода бэкенда покрыта модульными тестами.

Оптимизация интерфейса. Оптимизация страницы входа, размера кнопок, подсказок пользовательского интерфейса загрузки.

Более гибкое управление узлами. Разрешить пользователям передавать переменную в качестве ключа для регистрации узла вместо MAC по умолчанию.

Исправление ошибок

Ошибка при загрузке больших файлов пауков. Проблема сбоя памяти при загрузке больших файлов пауков.

Невозможно синхронизировать пауков. Исправлена проблема путём увеличения уровня разрешений на запись при синхронизации файлов пауков. (Китай) для проверки пользователями такой информации, как robots.txt и время отклика/код домашней страницы.

0.1.1 (2019-04-23)

— Basic Stats: пользователь может просматривать основные статистические данные, такие как количество неудачных задач и количество результатов на страницах пауков и задач.

— Near Realtime Task Info: периодический (каждые 5 секунд) опрос данных с сервера для отображения информации о задачах практически в реальном времени.

— Scheduled Tasks: позволяют пользователям настраивать запланированные/периодические задачи по типу cron с помощью apscheduler.

0.1 (2019-04-17)

— Initial Release