TODO

• Протестировать на разных версиях Redis.
• Добавить поддержку глобальной переменной SCRAPY_JOB (задачи с одинаковым SCRAPY_JOB используют одни и те же очереди).
• Использовать middleware для пауков вместо миксинов. Это позволит избежать хака со сигналами простоя паука.
• Синхронизировать с последними изменениями в Scrapy (например, планировщик, фильтр повторов rfpdupefilter и т.д.).
• Разрешить использование pubsub при необходимости.
• Обобщить классы очередей (например: LifoQueue, FifoQueue, PriorityQueue, PubsubQueue), позволить использовать пользовательские сериализаторы, использовать методы enqueue и dequeue.
• Перенести пример проекта в отдельный репозиторий. Включить различные случаи использования парсинга (например: производитель/потребитель).
• Добавить фильтр повторов pyrebloom.
• Предупредить и обработать незапутываемые запросы.