1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/svnee-easy-file

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
Клонировать/Скачать
Внести вклад в разработку кода
Синхронизировать код
Отмена
Подсказка: Поскольку Git не поддерживает пустые директории, создание директории приведёт к созданию пустого файла .keep.
Loading...
README.md
Упрощаем экспорт больших данных!!!
------- # EasyFile Упрощаем экспорт больших данных!!!

Внимание: этот проект не был опубликован в центральном репозитории Maven, требуется ручное добавление в локальный репозиторий или использование в частном репозитории.

Присоединяйтесь к нам!

Главная страница GitHub

Описание

Что такое EasyFile?

EasyFile — это решение для удобной работы с большими файлами, позволяющее легко экспортировать миллионы данных.

Функциональные особенности

Поддерживает синхронный и асинхронный экспорт, компрессию файлов, поточный экспорт, пагинацию, повторное использование кэша, множественную пагинацию, множественный поточный экспорт, различные механизмы триггеров асинхронного экспорта и многое другое. Поддерживает i18n для международного экспорта.

Оптимизировано для снижения влияния на память и процессор при экспорте файлов. Предоставляет больше возможностей управления файлами.Предоставляет универсальные, быстрые и унифицированные API решения для разработчиков;

Решаемые проблемы

  1. Быстрый рост объема данных приводит к увеличению потребления памяти и высокому риску отказа системы.
  2. Экспорт больших файлов может вызвать HTTP-таймауты, что приведет к провалу операции экспорта.
  3. Результаты экспорта при одинаковых условиях не могут быть переиспользованы, что приводит к нерациональному использованию ресурсов.
  4. Концентрация задач экспорта не имеет мониторинга.
  5. Разработчики должны заботиться не только о логике запроса данных, но и о логике создания файлов.
  6. При длительном времени выполнения экспорта невозможно отслеживать прогресс выполнения.

Сравнение с другими системами

По сравнению с Alibaba EasyExcel, эти два продукта имеют различную направленность. Аллибаба EasyExcel — это инструмент для создания, экспорта и импорта Excel-файлов. EasyFile — это решение для экспорта больших файлов, которое решает проблемы повторного использования файлов, тайм-аутов при экспорте, переполнения памяти и других проблем, связанных с экспортом больших файлов. Кроме того, EasyFile можно использовать не только для экспорта Excel-файлов, но также для управления CSV, PDF, Word и другими типами файлов (в настоящее время требуются базовые классы для экспорта и скачивания BaseDownloadExecutor для реализации логики создания файлов).К тому же, EasyFile не конфликтует с Alibaba EasyExcel, они могут использоваться вместе, где логика создания файлов может быть расширена с помощью Alibaba EasyExcel.

  1. Используя полный экспорт 100 000 записей + EasyExcel (com.openquartz.easyfile.example.downloader.StudentDownloadDemoExecutor). График памяти: Полный экспорт + EasyExcel
  2. Используя пагинационный экспорт (com.openquartz.easyfile.example.downloader.StudentPageDownloadDemoExecutor). Схема памяти: Пагинация экспорта Сравнение размеров сгенерированных файлов: Сравнение размеров файлов

Архитектура программного обеспечения

EasyFile предлагает два режима работы: Локальный режим (рекомендован): требуется предоставление локального API-маппера хранения данных. Данные будут храниться в локальной базе данных. Удалённый режим: необходимо развернуть сервис easyfile-server и настроить клиентское обращение к удалённому EasyFile через домен.### Кодовая структура

  • easyfile-common: общие модули
  • easyfile-core: основной модуль
  • easyfile-metrics: метрики
    • easyfile-metrics-api: протокол метрик
    • easyfile-metrics-prometheus: реализация Prometheus
  • easyfile-storage: службы хранения
    • easyfile-storage-api: API службы хранения
    • easyfile-storage-remote: удалённое хранение
    • easyfile-storage-local: локальное хранение данных
  • easyfile-spring-boot-starter: начальные пакеты EasyFile
    • easyfile-spring-boot-starter-parent: родительский пакет EasyFile
    • easyfile-spring-boot-starter-local: начальный пакет локального режима
    • easyfile-spring-boot-starter-remote: начальный пакет удалённого режима
  • easyfile-server: сервер удалённого хранения
  • easyfile-ui: UI управления easyfile-admin (не обязательно)
  • easyfile-example: примеры проектов
    • easyfile-example-local: пример локального хранения
    • easyfile-example-remote: пример удалённого хранения### Последовательность событий Схема последовательности событий

Быстрый старт

Быстрый старт

Программа поощрений

Если вы считаете, что этот проект помог вам, присоединяйтесь к нашей программе поощрений! Зарегистрироваться как пользователь EasyFile! ✿(´▽)✿ Большое спасибо за регистрацию следующим пользователям.✿(´▽)✿


Комментарии ( 0 )

Вы можете оставить комментарий после Вход в систему

Введение

EasyFile — комплексное решение для экспорта больших файлов через веб. Экспорт данных свыше миллиона без усилий. Развернуть Свернуть
Apache-2.0
Отмена

Обновления (2)

все

Участники

все

Недавние действия

Загрузить больше
Больше нет результатов для загрузки
1
https://api.gitlife.ru/oschina-mirror/svnee-easy-file.git
git@api.gitlife.ru:oschina-mirror/svnee-easy-file.git
oschina-mirror
svnee-easy-file
svnee-easy-file
master