Слияние кода завершено, страница обновится автоматически
Получение прокси-серверов с веб-страниц и проверка их работоспособности
автор: hellstar
Необходимо установить python2.7 среду
Внешние библиотеки Python: BeautifulSoup, MySQLdb
Только получение прокси-серверов
proxy -g
Только проверка прокси-серверов
proxy -c http http — проверка HTTP прокси-серверов, не проверяет SOCKS4, SOCKS5 прокси-серверы
proxy -c connect connect — проверка SOCKS4, SOCKS5 прокси-серверов и HTTP прокси-серверов, поддерживающих HTTP connect
Получение прокси-серверов и проверка их работоспособности
proxy -g -c http
Тестирование сайта №1
proxy -t 1
Просмотр справки
proxy -h
web_site_count=13 #Количество сайтов для парсинга
indebug=1
thread_num=200 # Создаем thread_num потока для проверки прокси-серверов
check_in_one_call=thread_num*10 # Количество проверяемых прокси-серверов за один запуск программы
db_host='localhost' # Настройки базы данных
db_port=3306
db_user='root'
db_passwd='123456'
db_database='social'
db_charset='utf8'
target_url="http://www.baidu.com/" # Адрес для проверки прокси-серверов
target_string="030173" # Если в ответе содержится этот текст,
target_timeout=10 # и время отклика меньше target_timeout секунд,
то считается, что прокси-сервер работает корректно
proxy_use=1 #Использование прокси при парсинге
proxy_ip='127.0.0.1'
proxy_port='8087'# Сайты для парсинга
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Комментарии ( 0 )