1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/andeyalee-surfer

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md

Surfer GitHub release report card github issues github closed issues GoDoc view Go大数据

Пакет surfer представляет собой высокоуровневый клиент HTTP с поддержкой многопоточности. Он включает в себя движки загрузки surf и phantom, имитацию поведения браузера, возможность эмулировать действия пользователя и многое другое.

Китайский язык

Возможности

  • Поддержка движков surf и phantomjs
  • Поддержка случайного выбора User-Agent
  • Поддержка кэширования cookies
  • Поддержка протоколов http/https

Пример использования

package main

import (
	"github.com/henrylee2cn/surfer"
	"io/ioutil"
	"log"
)

func main() {
	// Использование движка surf
	resp, err := surfer.Download(&surfer.Request{
		Url: "http://github.com/henrylee2cn/surfer",
	})
	if err != nil {
		log.Fatal(err)
	}
	b, err := ioutil.ReadAll(resp.Body)
	log.Println(string(b), err)

	// Использование движка phantomjs
	surfer.SetPhantomJsFilePath("Путь до phantomjs.exe")
	resp, err = surfer.Download(&surfer.Request{
		Url:          "http://github.com/henrylee2cn",
		DownloaderID: 1,
	})
	if err != nil {
		log.Fatal(err)
	}
	b, err = ioutil.ReadAll(resp.Body)
	log.Println(string(b), err)
}
``````go
	resp.Body.Close()
	surfer.DestroyJsFiles()
}

Лицензия

Surfer распространяется под лицензией Apache v2. Полный текст лицензии можно найти в файле LICENSE.

Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

surfer [high level concurrency downloader] — это высокопроизводительный загрузчик-краулер, написанный на Go. Он имеет два ядра для загрузки: surf и phantom. Поддерживает два режима: фиксированный UserAgent с автоматическим сохранением cookie и случайный большой набор UserAgent с отключением cookie. Программа тщательно имитирует поведение браузер... Развернуть Свернуть
Apache-2.0
Отмена

Обновления

Пока нет обновлений

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/andeyalee-surfer.git
git@api.gitlife.ru:oschina-mirror/andeyalee-surfer.git
oschina-mirror
andeyalee-surfer
andeyalee-surfer
master