Причина создания простого и удобного, а также производительного и эффективного скрапера для изображений talent-photo-crawler заключается в том, что однажды в выходной день, когда было немного свободного времени, автор решил зайти на 18+ сайт, чтобы посмотреть художественные изображения. Однако при плохой скорости интернета просмотр становился неприятным. Поэтому возникла идея скачать все изображения с сайта локально, чтобы потом можно было спокойно и с эстетическим удовольствием рассматривать каждое из них. В результате был создан простой и удобный скрапер изображений, который использует многопоточное параллельное вычисление и асинхронное выполнение для скачивания изображений. Одновременно один поток может скачивать несколько изображений текущей страницы, не ожидая завершения загрузки каждого отдельного файла.

Пример использования демонстрационного примера находится в исходном коде, где приведены комментарии и объяснения, чтобы сделать его ещё более доступным.

Если есть предложения по улучшению, пожалуйста, сообщите об этом...

Кроме того, рекомендую обратить внимание на волшебный асинхронный мгновенный чат-фреймворк talent-aio, https://git.oschina.net/tywo45/talent-aio.

Ниже указано количество изображений, которое можно получить за одну секунду, однако конкретные значения зависят от ширикнопроводного соединения и состояния сети.