ВведениеMMPreTrain — это открытый пакет для глубиного обучения с предварительной подготовкой, основанный на PyTorch, являющийся частью проекта OpenMMLab.
Код ветки main поддерживает версии PyTorch 1.8 и выше.
Основные характеристики
- Поддержка различных базовых сетей и моделей предварительной подготовки
- Поддержка множества стратегий обучения (надзорное обучение, ненадзорное обучение, многомодальное обучение и т.д.)
- Предоставление множества методик обучения
- Большое количество конфигурационных файлов для обучения
- Высокая эффективность и масштабируемость
- Удобный набор инструментов для анализа моделей и проведения экспериментов
- Поддержка множества задач вывода "из коробки":
- Классификация изображений
- Описание изображений (Image Caption)
- Ответы на вопросы по изображению (Visual Question Answering)
- Локализация объектов (Visual Grounding)
- Поиск (поиск изображений по изображению, поиск изображений по тексту, поиск текста по изображению)
https://github.com/open-mmlab/mmpretrain/assets/26739999/e4dcd3a2-f895-4d1b-a351-fbc74a04e904
Журнал обновлений
🌟 Версия 1.2.0 выпущена 04 января 2024 года
- Поддержка LLaVA 1.5
- Реализован пример вывода модели RAM с использованием Gradio
🌟 Версия 1.1.0 выпущена 12 октября 2023 года
-
Поддержка тренировки Mini-GPT4 и предоставление китайской модели на основе Baichuan-7B
-
Поддержка нулевой выборки классификации на основе CLIP🌟 Версия 1.0.0 выпущена 04 июля 2023 года
-
Поддержка вывода более десятка алгоритмов многомодального обучения, таких как LLaVA, MiniGPT-4, Otter
-
Поддержка около десяти многомодальных данных!
-
Добавлены алгоритмы самообучения iTPN, SparK
-
Предоставлены новые конфигурационные файлы и примеры использования DeepSpeed/FSDP. Это ссылки на новые конфигурационные файлы Чистый стиль конфигурации на Python (Бета) и DeepSpeed/FSDP с FlexiRunner.
🌟 Обновление от MMClassification до MMPreTrain
- Интегрирование алгоритмов самообучения из MMSelfSup, таких как
MAE, BEiT и т.д.
- Поддержка RIFormer — простой, но эффективной визуальной базовой сети, которая убирает токен-миксер
- Переработана визуализация данных
- Поддержка LeViT, XCiT, ViG, ConvNeXt-V2, EVA, RevViT, EfficientNetV2, CLIP, TinyViT и MixMIM и других базовых сетей. Этот выпуск включает новый расширенный движок обучения и тестирования, но он все еще находится в процессе разработки. Приветствуем вас в рамках документации для проведения тестирования.Кроме того, в новой версии есть некоторые изменения, несовместимые с предыдущими версиями. Для получения более подробной информации о этих изменениях обратитесь к документации по миграции.История выпусков и детали обновлений можно найти в журнале изменений.
Установка
Ниже приведены краткие шаги установки:
conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip3 install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .
Для получения более подробных инструкций по установке обратитесь к руководству по установке.
Если вам нужны модели многомодальные, используйте следующую команду для установки дополнительных зависимостей:
mim install -e ".[multimodal]"
Основные руководства
Мы предлагаем серию базовых руководств для новых пользователей:
Дополнительную информацию можно найти в нашей документации.
База моделейСвязанные результаты и модели доступны в базе моделей.
Обзор
|
Поддерживаемые основные сети
|
Автомножественные методы обучения
|
Многомодульные алгоритмы
|
Другое
|
|
|
CSPNet
PoolFormer
Inception V3
MobileOne
EfficientFormer
MViT
|
|
Задачи поиска изображений:
Советы по обучению и тестированию:
|
Участие в проектеМы очень рады любым вкладам, способствующим развитию MMPreTrain. Для того чтобы узнать, как вы можете принять участие, пожалуйста, обратитесь к руководству по вкладам.
Благодарность
MMPreTrain — это открытый проект, созданный совместными усилиями различных университетов и компаний. Мы благодарим всех участников за предоставление алгоритмов и новых возможностей, а также пользователей за ценные отзывы. Наша цель — обеспечить сообщество гибкими инструментами для воспроизведения существующих алгоритмов и создания новых моделей.
Цитирование
Если вы используете код или метрики производительности этого проекта в своих исследованиях, пожалуйста, используйте следующее цитирование:
@misc{2023mmpretrain,
title={Инструментарий и бенчмарк предобучения от OpenMMLab},
author={Участники проекта MMPreTrain},
howpublished = {\url{https://github.com/open-mmlab/mmpretrain}},
year={2023}
}
Лицензия
Проект распространяется с лицензией Apache 2.0.## Другие проекты OpenMMLab- MMEngine: Основная библиотека OpenMMLab для обучения глубоким моделям
-
MMCV: Базовая библиотека OpenMMLab для компьютерного зрения
-
MIM: MIM — единственный вход для проектов, алгоритмов и моделей OpenMMLab
-
MMEval: Единая открытая библиотека для оценки алгоритмов в различных фреймворках
-
MMPreTrain: Инструментальная панель OpenMMLab для предварительного обучения глубоким моделям
-
MMDetection: Инструментальная панель OpenMMLab для детектирования объектов
-
MMDetection3D: Новый универсальный платформенный подход OpenMMLab для трёхмерного детектирования объектов
-
MMRotate: Инструментальная панель OpenMMLab для работы с поворачивающимися рамками и тестовыми базами данных
-
MMYOLO: Инструментальная панель OpenMMLab для серии YOLO и тестовых баз данных
-
MMSegmentation: Инструментальная панель OpenMMLab для сегментации изображений
-
MMOCR: Полнофункциональная панель OpenMMLab для распознавания и анализа текста
-
MMPose: Инструментальная панель OpenMMLab для оценки поз
-
MMHuman3D: Инструментальная панель OpenMMLab для моделирования человеческого тела и тестовых баз данных
-
MMSelfSup: Инструментальная панель OpenMMLab для самообучения и тестовых баз данных
-
MMRazor: Инструментальная панель OpenMMLab для сжатия моделей и тестовых баз данных
-
MMFewShot: Инструментальная панель OpenMMLab для обучения с малым количеством примеров и тестовых баз данных
-
MMAction2: Новый подход OpenMMLab для понимания видео
-
MMTracking: Универсальная платформа OpenMMLab для отслеживания объектов в видео
-
MMFlow: Инструментальная панель OpenMMLab для оценки потока движения и тестовых баз данных
-
MMagic: Новый подход OpenMMLab для создания контента с помощью искусственного интеллекта (AI)
-
MMGeneration: Инструментальная панель OpenMMLab для генерации изображений и видео
-
MMDeploy: Фреймворк OpenMMLab для развертывания моделей
-
Playground: Контейнер для сбора и демонстрации передовых и интересных сообщественных проектов OpenMMLab
Добро пожаловать в сообщество OpenMMLabСканируйте нижеследующий QR-код для подписки на официальный аккаунт OpenMMLab на Zhihu. Для добавления в MMPretrain группу WeChat сканируйте следующий QR-код WeChat. [Формат заявки на добавление в друзья: направление исследований + регион + учебное заведение/компания + имя].
Мы будем рады видеть вас в сообществе OpenMMLab:
- 📢 Поделиться передовыми технологиями AI-фреймворков
- 💻 Раскрывать исходный код часто используемых модулей PyTorch
- 📰 Объявлять последние новости от OpenMMLab
- 🚀 Представлять передовые алгоритмы, разработанные командой OpenMMLab
- 🏃 Получать более эффективную помощь при решении проблем и обратной связи
- 🔥 Предоставлять платформу для взаимодействия с разработчиками различных областей
Полезные материалы 📘 ждут вас 💗, присоединяйтесь к сообществу OpenMMLab 👬
Опубликовать ( 0 )