DS

• Автор: Бэй Сяочай
• Страница автора: https://www.beixiaocai.com
• Открытый репозиторий на Gitee: https://gitee.com/Vanishi/DS
• Открытый репозиторий на GitHub: https://github.com/beixiaocai/DS
• Ссылка на страницу с инструкциями по установке: https://gitee.com/Vanishi/DS/blob/master/DOWNLOAD.md

Описание программы

• Это программа для сбора данных с веб-страниц, разработанная с использованием Qt. Она может заменить паука (скрейпер) и имеет важное преимущество: упрощает процесс сбора данных с веб-страниц, снижая требования к знаниям программирования до уровня базовых навыков работы с компьютером.

О программе DS

• DS — сокращение от Data Spider. Несколько лет назад я написал похожий инструмент, но из-за моего уровня в то время в программе было много логических ошибок, поэтому я оставил её без внимания. Недавно, после нескольких месяцев работы, я решил доработать её. Хотя в программе было много ошибок, её идея была очень хорошей, поэтому было бы жалко её забросить. После того, как я пересмотрел Qt, я потратил довольно много времени и в конце концов создал рабочую версию.

### Учебник по использованию программы * [Видео — открытие Qt-приложения для сбора данных с веб-страниц](https://www.ixigua.com/7251409919918899764) * [Видео — совместимость с Qt6.4.3, обновление Chromium до последней версии, ожидаемое повышение производительности на 20%](https://www.ixigua.com/)com/7251410733408191032? id=7251778324991738429) * [Видео — [Инструмент для сбора данных с веб-страниц DS] 1 минута для реализации циклического перелистывания страниц для сбора данных о вакансиях](https://www.ixigua.com/7251410733408191032? id=7252343778143535628) * [Видео — [Инструмент для сбора данных с веб-страниц DS] 1 минута для реализации циклического перелистывания страниц для сбора данных о товарах](https://www.ixigua.com/7251410733408191032? id=7254895583918457381) * [Видео — [Инструмент для сбора данных с веб-страниц DS] 1 минута для реализации сбора данных с помощью прокрутки страниц для сбора данных о рейтингах](https://www.ixigua.com/7251410733408191032? id=7254897905675600439) * [Видео на Bilibili — Qt-приложение для сбора данных с веб-страниц](https://www.bilibili.com/video/BV1uM4y167bg) ### Важные моменты при установке среды разработки - В программе встроен браузер Google Chrome, реализованный с использованием встроенных в Qt QWebView-контроллеров. В Qt только MSVC компилятор может использовать этот контроллер, MinGW компилятор не поддерживается. Поэтому для запуска программы на вашем компьютере необходимо установить MSVC компилятор. - Рекомендуется сначала установить VS, а затем Qt. Если сначала установить Qt, а затем VS, вам потребуется вручную настроить компилятор, что может быть довольно сложным. - Как установить компиляторы MSVC? * Перед установкой Qt необходимо сначала установить Visual Studio, чтобы при установке Qt можно было выбрать MSVC и установить его правильно. - Комбинации Qt и компиляторов MSVC, которые автор использовал * Qt5.14.2 + VS2019 и VS2017 * Qt5.15.2 + VS2019 * Qt6.4.3 + VS2019 * Qt6.6 + VS2019 * Qt6.7 + VS2019 ### Моя цель в разработке этого программного обеспечения - В наше время существует потребность во всех сферах в получении данных. Для компаний, это означает нанять разработчиков для сбора данных. Но для большинства людей, которые нуждаются в данных, но не обладают навыками программирования, сбор данных является сложной задачей, очевидно, что они не могут самостоятельно написать программу для сбора данных. - Писатели отчетов, авторы статей, исследователи, занимающиеся анализом, государственные служащие, менеджеры по продажам, специалисты по маркетингу, студенты и т. д. сталкиваются с необходимостью сбора данных с веб-страниц в повседневной работе. Однако часто большинству людей требуется только набор данных с веб-страниц, чтобы сделать выводы на их основе. Но из-за высокой стоимости сбора данных и необходимости изучения дополнительного языка программирования для сбора данных, это является проблемой для них, так как они не могут уделять время наиболее важным задачам. - Хотя разработка программы для сбора данных является простой задачей для разработчиков, для людей, не обладающих навыками программирования, это является сложной задачей, и даже для разработчиков, написание программы для сбора данных может быть слишком расточительным по времени. ### Заявление о программе - Это программное обеспечение предназначено только для сбора данных, мы не несем ответственности за авторские права на данные. Мы уважаем авторские права, вы должны связаться с владельцем данных и получить разрешение, любые проблемы, связанные с авторскими правами на данные, несут ответственность пользователей, а также следует строго соблюдать "Закон о сетевой безопасности". Использование данного программного обеспечения означает согласие с данным заявлением. ### Лицензионное соглашение - Исходный код проекта использует лицензию MIT, которая позволяет свободное использование в коммерческих и некоммерческих проектах при сохранении информации об авторских правах. Однако проект также использует некоторые сторонние библиотеки, включая Qt, любые коммерческие споры или нарушения авторских прав, связанные с использованием проекта, не связаны с проектом и разработчиками, пожалуйста, несите ответственность за соблюдение законодательства. При использовании исходного кода проекта, также следует указывать лицензию сторонних библиотек, на которые проект зависит, и следовать соответствующим правилам.