Серия моделей GLM-4-0414

👋 Присоединяйтесь к нам в Discord, X и WeChat

📍 Эта открытая исходная модель можно использовать на Z.ai бесплатно; для использования коммерческих моделей GLM перейдите на bigmodel.cn.

Чтение этого в английском языке

Обновления проекта

• 🔥 Новости: 2025/04/14: Мы представляем GLM-4-32B-0414 серию моделей, размер увеличен до 32B, включающую модели с возможностями диалога, вывода и размышления.
• Новости: 2024/06/18: Мы представляем технический отчет, присоединяйтесь для просмотра.
• Новости: 2024/06/05: Мы представляем GLM-4-9B серию открытых моделей, содержание которой можно просмотреть здесь.

Описание моделейВ семейство GLM добавлена новая серия открытых моделей GLM-4-32B-0414, содержащая 320 миллиардов параметров, с результатами, сравнимыми с моделями GPT от OpenAI и V3/R1 от DeepSeek, и поддерживающая дружественное к локальному развертыванию свойство. Модель GLM-4-32B-Base-0414 была предобучена на 15 ТБ высококачественных данных, включая большое количество синтетических данных для вывода, что создает основу для последующего улучшения с помощью обучения с подкреплением. В фазе пост-обучения, помимо выравнивания предпочтений человека для диалоговых сценариев, мы улучшили модель в области выполнения команд, работы с кодом и вызова функций с помощью техник, таких как отбор по отвержению и обучение с подкреплением, что улучшило атомарные способности, необходимые для выполнения задач. Модель GLM-4-32B-0414 показала хорошие результаты в области работы с кодом, генерации артефактов, вызова функций, поиска и ответов на вопросы и отчетов, некоторые бенчмарки даже сравнимы с более крупными моделями GPT-4o и DeepSeek-V3-0324 (671B).GLM-Z1-32B-0414 — это модель вывода с глубокими способностями к размышлению, созданная на основе GLM-4-32B-0414 с использованием холодного старта и расширенного обучения с подкреплением, а также дополнительного обучения модели на задачах математики, кодирования и логики. В сравнении с базовой моделью, GLM-Z1-32B-0414 значительно улучшила способности в области математики и логики, а также способность к решению сложных задач. В процессе обучения мы также внедрили общий метод обучения с подкреплением на основе обратной связи отсортированных поединков, что еще больше улучшило универсальные способности модели. GLM-Z1-Rumination-32B-0414 — это глубокая модель для анализа, обладающая способностью к медитативному анализу (аналог Open AI Deep Research). В отличие от обычных моделей глубокого анализа, модель с медитативным анализом решает более открытые и сложные задачи, используя более длительное время для анализа (например, написание сравнительного анализа развития AI в двух городах и планирование будущего развития). Модель с медитативным анализом использует поисковые инструменты для решения сложных задач и была обучена с использованием различных типов наград для обучения и расширения обучения с усилением от конца до конца. Модель GLM-Z1-Rumination значительно улучшила свои способности в исследовательской письменности и сложных поисковых задачах.Наконец, GLM-Z1-9B-0414 — это приятный сюрприз. Мы использовали ту же серию технологий для обучения модели размером 9 миллиардов параметров, сохраняя традицию открытого исходного кода. Несмотря на меньший размер, модель GLM-Z1-9B-0414 демонстрирует исключительные способности в математическом анализе и выполнении универсальных задач, занимая лидирующие позиции среди моделей открытого исходного кода такого же размера. Особенно в условиях ограниченных ресурсов, модель достигла отличного баланса между эффективностью и качеством, что делает её отличным выбором для пользователей, стремящихся к легковесной реализации.

Примеры работы### Анимация рисования

GLM-4-32B-0414

GLM-4-32B-0414

Создайте доску для построения графиков с поддержкой пользовательских функций. Добавляйте и удаляйте пользовательские функции, а также устанавливайте цвета для функций.

Разработайте пользовательский интерфейс для мобильной платформы машинного обучения, включающий интерфейсы для обучения, управления хранилищем и статистики пользователя. Статистика пользователя должна включать графики, отражающие использование различных ресурсов в течение определенного периода времени. Используйте Tailwind CSS для оформления страниц. Расположите три мобильных интерфейса в одном HTML-документе.

Генерация SVG

GLM-4-32B-0414	GLM-4-32B-0414
Создайте изображение "Дождливый Южный Китай" с использованием SVG.	Создайте изображение, показывающее процесс обучения LLM с использованием SVG.

Анализ и исследование

Список моделей

Серия моделей GLM-4-0414Открытая модель GLM-Z1-9B-0414 онлайн-тестирование| Модель | Тип | Длина последовательности* | Скачать |

|:--------------------------:|:---------:|:-------------------------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:| | GLM-4-9B-0414 | Чат | 32K -> 128K | 🤗 Huggingface
🤖 ModelScope
🧩 Modelers
🟣 WiseModel | | GLM-Z1-9B-0414 | Решение | 32K -> 128K | 🤗 Huggingface
🤖 ModelScope
🧩 Modelers
🟣 WiseModel | | GLM-4-32B-Base-0414 | База | 32K -> 128K | 🤗 Huggingface
🤖 ModelScope
🧩 Modelers
🟣 WiseModel | | GLM-4-32B-0414 | Чат | 32K -> 128K | 🤗 Huggingface
🤖 ModelScopecn/models/ZhipuAI/GLM-4-32B-0414)
🧩 Modelers
🟣 WiseModel | | GLM-Z1-32B-0414 | Решение | 32K -> 128K | [🤗 Huggingface](https://huggingface. | Модель | Тип | Размер | Ссылки | | --- | --- | --- | --- | | GLM-Z1-32B-0414 | Обсуждение | 32Б | [🤗 Huggingface](https://huggingface. co/THUDM/GLM-Z1-32B-0414)
[🤖 ModelScope](https://modelscope. cn/models/ZhipuAI/GLM-Z1-32B-0414)
[🧩 Modelers](https://modelers. cn/models/zhipuai/GLM-Z1-32B-0414)
[🟣 WiseModel](https://wisemodel. cn/models/ZhipuAI/GLM-Z1-32B-0414) | | GLM-Z1-Rumination-32B-0414 | Рассуждение | 32Б | [🤗 Huggingface](https://huggingface. co/THUDM/GLM-Z1-Rumination-32B-0414)
[🤖 ModelScope](https://modelscope. cn/models/ZhipuAI/GLM-Z1-Rumination-32B-0414)
[🧩 Modelers](https://modelers. cn/models/zhipuai/GLM-Z1-Rumination-32B-0414)
[🟣 WiseModel](https://wisemodel. cn/models/ZhipuAI/GLM-Z1-Rumination-32B-0414) |GLM-4-9B-0414 благодаря меньшему размеру модели, мы не провели у неё усиления способностей агента, подобное тому, что было сделано для GLM-4-32B-0414. Основное внимание было уделено оптимизации для сценариев, требующих массового вызова, таких как перевод.* Модель была обучена с использованием 32K контекста. Для запросов, где длина входных данных + выходных данных может превышать 32K, мы рекомендуем активировать YaRN для получения лучшей производительности при экстраполяции. Подробнее см. раздел развертывания.Вот GLM-4 серия моделей, выпущенная 5 июня 2024 года. Подробная информация доступна здесь.

Результаты оценки### Серия GLM-4-0414

Для SimpleQA и HotpotQA мы отобрали примерно по 500 тестовых примеров из тестового набора данных, предоставили всем моделям базовые инструменты search и click, а также убедились, что остальные настройки остаются одинаковыми, после чего взяли среднее значение из трех оценок.

[3] OpenHands v0.29.1 не использует расширение контекста YaRN, а ограничивает максимальное количество итераций до 60 и суммирует историю, чтобы избежать превышения ограничения контекста в 32K. Конфигурация суммирования установлена как llm_config="condenser", keep_first=1, max_size=32. Также не предусмотрено повторное выполнение в случае неудачи.

GLM-Z1-0414 Серия

Модели и реализация подсказок

Реализация моделей

Если вы хотите посмотреть реализацию наших моделей, приветствуем вас в соответствующих репозиториях, где вы можете найти Pull Request с реализациями моделей, которые уже были объединены.+ Реализация модели vLLM

• Реализация модели transformers
• Реализация модели llama.cpp### Обработка длинного контекста (YaRN)

Если сумма выходных данных модели и токенов выхода может превысить исходную длину контекста модели (для большинства моделей GLM-4-0414 это 32K), рекомендуется включить YaRN для улучшения способности модели работать с длинным контекстом. Для поддерживаемых фреймворков вы можете изменить соответствующий config.json. Конкретно для моделей GLM-Z1, если длина входных данных превышает 8192 токена, рекомендуется включить YaRN (Rope Scaling).

"rope_scaling": {
    "factor": 4.0,
    "original_max_position_embeddings": 32768,
    "type": "yarn"
}

Для большинства пользовательских запросов, если сумма выходных данных и токенов выхода не превышает исходную длину контекста, никакие изменения не требуются.

Микстура моделей

В finetune/README.md можно найти информацию о необходимых вычислительных мощностях для микстуры моделей и примеры скриптов для микстуры.

Можно использовать следующую команду для запуска простого примера микстуры модели.

cd finetune
pip install -r ../inference/requirements.txt
pip install -r requirements.txt
# Используйте одиночное GPU для Chat Fine-tune
python finetune.py data/AdvertiseGen/ THUDM/GLM-4-9B-0414 configs/lora.yaml

🎉 Скрипт также поддерживает визуализацию отслеживания процесса fine-tuning с использованием SwanLab, доступ к визуализации можно получить на панели SwanLab для просмотра логов обучения скриптов fine-tuning.

Реализация подсказокЕсли вы используете метод apply_chat_template из библиотеки transformers для построения подсказок, то ниже приведены ограничения для системных подсказок в различных моделях GLM-4-0414.

• GLM-4-32B-Base-0414: базовая модель без шаблона диалога.
• GLM-4-*-0414 / GLM-Z1-*-0414: если передаются tools, то apply_chat_template заполняет инструменты в фиксированный шаблон chat_template. Информация о tools добавляется в поле system первой строки messages[0]. Все остальные строки messages автоматически сдвигаются на одну позицию вперед.
• GLM-Z1-Rumination-32B-0414:
  • Поддерживает только четыре инструмента, без возможности задания пользовательских системных подсказок или инструментов. Все поля tools и system будут проигнорированы apply_chat_template. Для использования этой модели требуется внешний поисковый движок или кастомный API поиска.
  • Поддерживаемые инструменты:

    1. search
       Описание: Выполняет поиск по запросу и возвращает результаты поиска. Используйте эту функцию, когда вам нужно найти информацию по определенной теме.
       Параметры: query (строка) - строка запроса поиска, если это специфический китайский термин, используйте китайские слова, в остальных случаях используйте английские слова.
    ```        2. click
       Описание: Нажимает на ссылку в результатах поиска и переходит на соответствующую страницу. Используйте эту функцию, когда вам нужно просмотреть детали определенного результата поиска.
       Параметры: link_id (целое число) - ID ссылки для нажатия (порядковый номер из результатов поиска).        3. open
       Описание: Открывает определённый веб-сайт. Получает содержимое любого веб-сайта по URL.
       Параметры: url (строка) - URL или домен целевого веб-сайта.
    
    4. finish
       Описание: Завершает задачу. Используйте эту функцию, когда вы нашли нужную информацию.
       Параметры: отсутствуют
  • Фиксированный шаблон chat_template использует английский процесс мышления. Если требуется изменить язык, необходимо изменить следующие части (временно поддерживаются китайский и английский языки):

    <важная конфигурация>
    - используемый язык
        * ключевые слова поиска: английский -> замените на "русский" или другой язык
        * мышление: английский -> замените на "русский" или другой язык

Диалоговые шаблоны моделей GLM-4-0414 можно посмотреть в соответствующих репозиториях моделей в файле chat_template.jinja.Если вы считаете, что наша работа полезна, пожалуйста, рассмотрите возможность цитирования следующих статей.

@misc{glm2024chatglm,
      title={ChatGLM: Семейство больших языковых моделей от GLM-130B до GLM-4. Все инструменты},
      author={Team GLM и Аohan Zeng и Bin Xu и Bowen Wang и Chenhui Zhang и Da Yin и Diego Rojas и Guanyu Feng и Hanlin Zhao и Hanyu Lai и Hao Yu и Hongning Wang и Jiadai Sun и Jiajie Zhang и Jiale Cheng и Jiayi Gui и Jie Tang и Jing Zhang и Juanzi Li и Lei Zhao и Lindong Wu и Lucen Zhong и Mingdao Liu и Minlie Huang и Peng Zhang и Qinkai Zheng и Rui Lu и Shuaiqi Duan и Shudan Zhang и Shulin Cao и Shuxun Yang и Weng Lam Tam и Wenyi Zhao и Xiao Liu и Xiao Xia и Xiaohan Zhang и Xiaotao Gu и Xin Lv и Xinghan Liu и Xinyi Liu и Xinyue Yang и Xixuan Song и Xunkai Zhang и Yifan An и Yifan Xu и Yilin Niu и Yuantao Yang и Yueyan Li и Yushi Bai и Yuxiao Dong и Zehan Qi и Zhaoyu Wang и Zhen Yang и Zhengxiao Du и Zhenyu Hou и Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Обработка естественного языка' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Обрабатывает обработку естественного языка. Включает материалы, относящиеся к ACM Subject Class I.2.7. Материалы по искусственным языкам (языки программирования, логики, формальные системы), которые не рассматривают естественный язык в широком смысле (обработка естественного языка, вычислительная лингвистика, речь, поиск текста и т.д.), не подходят для этой области.'}
}