monkeycc-mmclassification: Синхронно обновите официальную последнюю версию mmclassification. https://github.com/open-mmlab/mmclassification

Сайт OpenMMLab ^НОВЫЙ Платформа OpenMMLab ^{ПОДКЛЮЧИСЬ}

📘 Документация | 🛠️ Установка | 👀 Каталог моделей | 🆕 Обновление новостей | 🤔 Отчет о проблемах

Английский | Китайский

ВведениеMMPreTrain — это открытый набор инструментов для предобучения на основе PyTorch. Он является частью проекта OpenMMLab.

Основной ветвью (main) поддерживаются версии PyTorch 1.8+.

Основные возможности

Различные основные архитектуры и предобученные модели
Богатые стратегии обучения (наблюдательное обучение, самонастраивающееся обучение, обучение с многими модальностями и т.д.)
Набор трюков для обучения
Конфигурации для масштабируемого обучения
Высокая эффективность и расширяемость
Сильные наборы инструментов для анализа моделей и экспериментов
Различные задачи вывода готовыми к использованию.
- Классификация изображений
- Подпись изображений
- Ответы на вопросы по изображению
- Обоснование видимости
- Поиск (изображение-к-изображению, текст-к-изображению, изображение-к-тексту)

https://github.com/open-mmlab/mmpretrain/assets/26739999/e4dcd3a2-f895-4d1b-a351-fbc74a04e904

Что нового

🌟 Версия v1.2.0 была выпущена 04/01/2023

Поддержка LLaVA 1.5.
Реализация RAM с интерфейсом Gradio.

🌟 Версия v1.1.0 была выпущена 12/10/2023

Поддержка обучения Mini-GPT4 и предоставление китайской модели (на базе Baichuan-7B)
Поддержка нулевой классификации (нулевого обучения классификации) на основе CLIP.

🌟 Версия v1.0.0 была выпущена 04/07/2023- Поддержка вывода более мульти_MODALНЫХ алгоритмов, таких как LLaVA, MiniGPT-4, Otter, и т.д.

Поддержка около 10 мульти_MODALНЫХ наборов данных!
Добавлены iTPN, SparK самообучающиеся алгоритмы.
Предоставлены примеры конфигураций Новый конфиг и DeepSpeed/FSDP с FlexRunner. Вот ссылки на документацию Новый конфиг и [DeepSpeed/FSDP с FlexRunner](https://mmengine.readthed Yöntem correction:
Поддержка вывода более мульти_MODALНЫХ алгоритмов, таких как LLaVA, MiniGPT-4, Otter, и т.д.
Поддержка около 10 мульти_MODALНЫХ наборов данных!
Добавлены iTPN, SparK самообучающиеся алгоритмы.
Предоставлены примеры конфигураций нового конфига и DeepSpeed/FSDP с FlexRunner. Вот ссылки на документацию новый конфиг и DeepSpeed/FSDP с FlexRunner.

Финальный текст:

Поддержка вывода более мульти_MODALНЫХ алгоритмов, таких как LLaVA, MiniGPT-4, Otter, и т.д.
Поддержка около 10 мульти_MODALНЫХ наборов данных!
Добавлены iTPN, SparK самообучающиеся алгоритмы.
Предоставлены примеры конфигураций нового конфига и DeepSpeed/FSDP с FlexRunner. Вот ссылки на документацию новый конфиг и DeepSpeed/FSDP с FlexRunner.🌟 Обновление от MMClassification до MMPreTrain
Интегрированы самообучающиеся алгоритмы из MMSelfSup, такие как MAE, BEiT и т.д.
Поддержка RIFormer, простой но эффективной основной архитектуры зрения путём удаления токен-миксера.
Переработана визуализация рабочего процесса набора данных.
Поддержка LeViT, XCiT, ViG, ConvNeXt-V2, EVA, RevViT, EfficientNetV2, CLIP, TinyViT и MixMIM основных архитектур. Эта версия представила новый гибкий движок обучения и тестирования, но он всё ещё находится в процессе разработки. Приглашаем попробовать согласно документации.

И также есть некоторые изменения, нарушающие обратную совместимость. Пожалуйста, проверьте руководство по миграции.

Дополнительные детали и история других выпусков доступна в журнале изменений.

Установка

Ниже приведены быстрые шаги для установки:

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

Для более подробной информации по установке и подготовке данных, пожалуйста, обратитесь к документации по установке.

Для поддержки многомодульных моделей, пожалуйста, установите дополнительные зависимости следующим образом:```shell mm install -e ".[multimodal]"


## Пользовательские руководства

Мы предоставили серию учебников о базовом использовании MMPreTrain для новых пользователей:

- [Узнайте о конфигах](https://mmpretrain.readthedocs.io/en/latest/user_guides/config.html)
- [Подготовка набора данных](https://mmpretrain.readthedocs.io/en/latest/user_guides/dataset_prepare.html)
- [Инференс с существующими моделями](https://mmpretrain.readthedocs.io/en/latest/user_guides/inference.html)
- [Обучение](https://mmpretrain.readthedocs.io/en/latest/user_guides/train.html)
- [Тестирование](https://mmpretrain.readthedocs.io/en/latest/user_guides/test.html)
- [Потребители данных](https://mmpretrain.readthedocs.io/en/latest/user_guides/downstream.html)

Для получения дополнительной информации, пожалуйста, обратитесь к [нашей документации](https://mmpretrain.readthedocs.io/en/latest/).

## Каталог моделейРезультаты и модели доступны в [каталоге моделей](https://mmpretrain.readthedocs.io/en/latest/modelzoo_statistics.html).

<div align="center">
    <b>Обзор</b>
</div>

<table align="center">
    <tbody>
      <tr align="center" valign="bottom">
        <td>
          <b>Поддерживаемые основные архитектуры</b>
        </td>
        <td>
          <b>Самообучение без надзора</b>
        </td>
        <td>
          <b>Алгоритмы многомодальной обработки данных</b>
        </td>
        <td>
          <b>Другое</b>
        </td>
      </tr>
      <tr valign="top">
        <td>
          <ul>
            <li><a href="configs/vgg">VGG</a></li>
            <li><a href="configs/resnet">ResNet</a></li>
            <li><a href="configs/resnext">ResNeXt</a></li>
            <li><a href="configs/seresnet">SE-ResNet</a></li>
            <li><a href="configs/seresnet">SE-ResNeXt</a></li>
            <li><a href="configs/regnet">RegNet</a></li>
            <li><a href="configs/shufflenet_v1">ShuffleNet V1</a></li>
            <li><a href="configs/shufflenet_v2">ShuffleNet V2</a></li>
            <li><a href="configs/mobilenet_v2">MobileNet V2</a></li>
            <li><a href="configs/mobilenet_v3">MobileNet V3</a></li>
            <li><a href="configs/swin_transformer">Swin-Transformer</a></li>
            <li><a href="configs/swin_transformer_v2">Swin-Transformer V2</a></li>
            <li><a href="configs/repvgg">RepVGG</a></li>
            <li><a href="configs/vision_transformer">Vision-Transformer</a></li>
            <li><a href="configs/tnt">Transformer-in-Transformer</a></li>
            <li><a href="configs/res2net">Res2Net</a></li>
            <li><a href="configs/mlp_mixer">MLP-Mixer</a></li>
            <li><a href="configs/deit">DeiT</a></li>
            <li><a href="configs/deit3">DeiT-3</a></li>
            <li><a href="configs/conformer">Conformer</a></li>
            <li><a href="configs/t2t_vit">T2T-ViT</a></li>
            <li><a href="configs/twins">Twins</a></li>
            <li><a href="configs/efficientnet">EfficientNet</a></li>
            <li><a href="configs/edgenext">EdgeNeXt</a></li>
            <li><a href="configs/convnext">ConvNeXt</a></li>
            <li><a href="configs/hrnet">HRNet</a></li>
            <li><a href="configs/van">VAN</a></li>
          </ul>
        </td>
      </tr>
    </tbody>
</table>           <li><a href="configs/convmixer">ConvMixer</a></li>
            <li><a href="configs/cspnet">CSPNet</a></li>
            <li><a href="configs/poolformer">PoolFormer</a></li>
            <li><a href="configs/inception_v3">Inception V3</a></li>
            <li><a href="configs/mobileone">MobileOne</a></li>
            <li><a href="configs/effectiveformer">EfficientFormer</a></li>
            <li><a href="configs/mvit">MViT</a></li>
          </ul>
        </td>
      </tr>
    </tbody>
  </table>        <li><a href="configs/hornet">HorNet</a></li>
          <li><a href="configs/mobilevit">MobileViT</a></li>
          <li><a href="configs/davit">DaViT</a></li>
          <li><a href="configs/replknet">RepLKNet</a></li>
          <li><a href="configs/beit">BEiT</a></li>
          <li><a href="configs/mixmim">MixMIM</a></li>
          <li><a href="configs/efficientnet_v2">EfficientNet V2</a></li>
          <li><a href="configs/revvit">RevViT</a></li>
          <li><a href="configs/convnext_v2">ConvNeXt V2</a></li>
          <li><a href="configs/vig">ViG</a></li>
          <li><a href="configs/xcit">XCiT</a></li>
          <li><a href="configs/levit">LeViT</a></li>
          <li><a href="configs/riformer">RIFormer</a></li>
          <li><a href="configs/glip">GLIP</a></li>
          <li><a href="configs/sam">ViT SAM</a></li>
          <li><a href="configs/eva02">EVA02</a></li>
          <li><a href="configs/dinov2">DINO V2</a></li>
          <li><a href="configs/hivit">HiViT</a></li>
          </ul>
        </td>
        <td>
          <ul>
          <li><a href="configs/mocov2">MoCo V1 (CVPR'2020)</a></li>
          <li><a href="configs/simclr">SimCLR (ICML'2020)</a></li>
          <li><a href="configs/mocov2">MoCo V2 (arXiv'2020)</a></li>
          <li><a href="configs/byol">BYOL (NeurIPS'2020)</a></li>
          <li><a href="configs/swav">SwAV (NeurIPS'2020)</a></li>
          <li><a href="configs/densecl">DenseCL (CVPR'2021)</a></li>
          <li><a href="configs/simsiam">SimSiam (CVPR'2021)</a></li>
          <li><a href="configs/barlowtwins">Barlow Twins (ICML'2021)</a></li>
          <li><a href="configs/mocov3">MoCo V3 (ICCV'2021)</a></li>
          <li><a href="configs/beit">BEiT (ICLR'2022)</a></li>
          <li><a href="configs/mae">MAE (CVPR'2022)</a></li>
          <li><a href="configs/simmim">SimMIM (CVPR'2022)</a></li>
          <li><a href="configs/maskfeat">MaskFeat (CVPR'2022)</a></li>
  </ul>         <li><a href="configs/cae">CAE (arXiv'2022)</a></li>
          <li><a href="configs/milan">MILAN (arXiv'2022)</a></li>
          <li><a href="configs/beitv2">BEiT V2 (arXiv'2022)</a></li>
          <li><a href="configs/eva">EVA (CVPR'2023)</a></li>
          <li><a href="configs/mixmim">MixMIM (arXiv'2022)</a></li>
          <li><a href="configs/itpn">iTPN (CVPR'2023)</a></li>
          <li><a href="configs/spark">SparK (ICLR'2023)</a></li>
          <li><a href="configs/mff">MFF (ICCV'2023)</a></li>
          </ul>
        </td>
        <td>
          <ul>
            <table>
              <tbody>
                <tr>
                  <td>
                    <ul>
                      <li><a href="configs/blip">BLIP (arXiv'2022)</a></li>
                      <li><a href="configs/blip2">BLIP-2 (arXiv'2023)</a></li>
                      <li><a href="configs/ofa">OFA (CoRR'2022)</a></li>
                      <li><a href="configs/flamingo">Flamingo (NeurIPS'2022)</a></li>
                      <li><a href="configs/chinese_clip">Китайская CLIP (arXiv'2022)</a></li>
                      <li><a href="configs/minigpt4">MiniGPT-4 (arXiv'2023)</a></li>
                      <li><a href="configs/llava">LLaVA (arXiv'2023)</a></li>
                      <li><a href="configs/otter">Otter (arXiv'2023)</a></li>
                    </ul>
                  </td>
                  <td>
                    Задача поиска изображений:
                    <ul>
                      <li><a href="configs/arcface">ArcFace (CVPR'2019)</a></li>
                    </ul>
                    Советы по обучению и тестированию:
                    <ul>
                      <li><a href="https://arxiv.org/abs/1909.13719">RandAug</a></li>
                      <li><a href="https://arxiv.org/abs/1805.09501">AutoAug</a></li>
                      <li><a href="mmpretrain/datasets/samplers/repeat_aug.py">RepeatAugSampler</a></li>
                      <li><a href="mmpretrain/models/tta/score_tta.py">TTA</a></li>
                      <li>. . .</li>
                    </ul>
                  </td>
                </tr>
              </tbody>
            </table>
          </ul>
        ## ВкладМы ценим все вклады, направленные на улучшение MMPreTrain.
Пожалуйста, обратитесь к [CONTRIBUTING](https://mmpretrain.readthedocs.io/en/latest/notes/contribution_guide.html) для руководства по вкладу.

## Отзыв

MMPreTrain — это открытый проект, созданный исследователями и инженерами из различных университетов и компаний. Мы благодарим всех участников, которые реализуют свои методы или добавляют новые возможности, а также пользователей, которые предоставляют ценную обратную связь.
Надеемся, что этот набор инструментов и бенчмарка будет полезен для развивающегося научного сообщества, предоставляя гибкий набор инструментов для переimplementации существующих методов и поддерживая собственные академические исследования.

## Цитирование

Если вы используете этот проект в своих исследованиях, пожалуйста, рассмотрите возможность цитирования:

```bibtex
@misc{2023mmpretrain,
    title={Набор инструментов и бенчмарк предобучения от OpenMMLab},
    author={Участники проекта MMPreTrain},
    howpublished = {\url{https://github.com/open-mmlab/mmpretrain}},
    year={2023}
}

Лицензия

Этот проект распространяется под лицензией Apache 2.0.## Проекты в OpenMMLab- MMEngine: Основная библиотека OpenMMLab для обучения глубоких моделей машинного обучения.

MMCV: Основная библиотека OpenMMLab для компьютерного зрения.
MIM: MIM устанавливает пакеты OpenMMLab.
MMEval: Объединённая библиотека оценки для нескольких библиотек машинного обучения.
MMPreTrain: Инструментарий и набор тестовых данных OpenMMLab для предобучения.
MMDetection: Инструментарий и набор тестовых данных OpenMMLab для детекции объектов.
MMDetection3D: Новая платформа OpenMMLab для общей детекции трёхмерных объектов.
MMRotate: Инструментарий и набор тестовых данных OpenMMLab для детекции вращаемых объектов.
MMYOLO: Инструментарий и набор тестовых данных OpenMMLab для серии YOLO.
MMSegmentation: Инструментарий и набор тестовых данных OpenMMLab для сегментации изображений.
MMOCR: Инструментарий и набор тестовых данных OpenMMLab для распознавания и понимания текста.
MMPose: Инструментарий и набор тестовых данных OpenMMLab для оценки поз.
MMHuman3D: Инструментарий и набор тестовых данных OpenMMLab для трёхмерной модели человека.
MMSelfSup: Инструментарий и набор тестовых данных OpenMMLab для самообучающегося обучения.
MMRazor: Инструментарий и набор тестовых данных OpenMMLab для сжатия моделей.
MMFewShot: Инструментарий и набор тестовых данных OpenMMLab для обучения с малым количеством примеров.
MMAction2: Новая платформа OpenMMLab для понимания действий.
MMTracking: Инструментарий и набор тестовых данных OpenMMLab для видеоанализа.
MMFlow: Инструментарий и набор тестовых данных OpenMMLab для оптического потока.
MMagic: Инструментарий OpenMMLab для продвинутой генеративной и интеллектуальной моделирования.
MMGeneration: Инструментарий OpenMMLab для генеративных моделей изображений и видео.
MMDeploy: Фреймворк OpenMMLab для развертывания моделей.
Playground: Центральный хаб для сбора и демонстрации замечательных проектов, созданных на основе OpenMMLab.

OSCHINA-MIRROR/monkeycc-mmclassification

ВведениеMMPreTrain — это открытый набор инструментов для предобучения на основе PyTorch. Он является частью проекта OpenMMLab.

Основные возможности

Что нового

Установка

Лицензия

Комментарии ( 0 )

Введение

Обновления

Участники

Недавние действия

OSCHINA-MIRROR/monkeycc-mmclassification .gitee-modal { min-width: 500px !important; } .gitee-modal .close { right: 0.6rem !important; }

ВведениеMMPreTrain — это открытый набор инструментов для предобучения на основе PyTorch. Он является частью проекта OpenMMLab.

Основные возможности

Что нового

Установка

Лицензия

Комментарии ( 0 )

Введение

Обновления

Участники

Недавние действия

OSCHINA-MIRROR/monkeycc-mmclassification