Слияние кода завершено, страница обновится автоматически
📄Отчет • 🤗 Репозиторий Hugging Face • 🤖 ModelScope • 🟣 WiseModel • 🐦 Twitter • 👋 Присоединяйтесь к Discord и WeChat
📍Попробуйте и используйте более масштабную версию бизнес-модели GLM на открытой платформе Zhipu AI
## Обновление- 🔥🔥 **Новости**: ```2024/11/01```: В этом репозитории обновлены зависимости. Пожалуйста, обновите зависимости в файле `requirements.txt`, чтобы убедиться, что модель работает правильно. Веса модели для [glm-4-9b-chat-hf](https://huggingface.co/THUDM/glm-4-9b-chat-hf) совместимы с `transformers>=4.46.2` и могут быть реализованы с помощью класса `GlmModel` из библиотеки `transformers`. Кроме того, файл `tokenizer_chatglm.py` в [glm-4-9b-chat](https://huggingface.co/THUDM/glm-4-9b-chat) и [glm-4v-9b](https://huggingface.co/THUDM/glm-4v-9b) был обновлен для последней версии `transformers`. Пожалуйста, обновите файлы на HuggingFace. - 🔥 **Новости**: ```2024/10/27```: Мы открыли исходный код [LongReward](https://github.com/THUDM/LongReward), модели, использующей обратную связь AI для улучшения моделей с длинным контекстом. - 🔥 **Новости**: ```2024/10/25```: Мы открыли исходный код модели для полного цикла перевода голоса с китайского на английский [GLM-4-Voice](https://github.com/THUDM/GLM-4-Voice). - 🔥 **Новости**: ```2024/09/05```: Мы открыли исходный код [longcite-glm4-9b](https://huggingface.co/THUDM/LongCite-glm4-9b), модели, позволяющей LLM-моделям генерировать детализированные ссылки в вопросах и ответах с длинным контекстом, а также набора данных [LongCite-45k](https://huggingface.co/datasets/THUDM/LongCite-45k). Попробуйте его онлайн на [Huggingface Space](https://huggingface.co/spaces/THUDM/LongCite). - 🔥 **Новости**: ```2024/08/15```: Мы открыли исходный код [longwriter-glm4-9b](https://huggingface.co/THUDM/LongWriter-glm4-9b), модели, способной генерировать более 10 000 токенов в одном диалоговом ходу, а также набора данных [LongWriter-6k](https://huggingface.co/datasets/THUDM/LongWriter-6k).Попробуйте его онлайн на [Huggingface Space](https://huggingface. co/spaces/THUDM/LongWriter) или в [ModelScope Community Space](https://modelscope. cn/studios/ZhipuAI/LongWriter-glm4-9b-demo). - 🔥 **Новости**: ```2024/07/24```: Мы опубликовали последние технические наблюдения по обработке длинного текста. Просмотрите наш технический отчет по обучению открытой модели GLM-4-9B для длинного текста [здесь](https://medium. com/@ChatGLM/glm-long-scaling-pre-trained-model-contexts-to-millions-caa3c48dea85). - 🔥 **Новости**: ```2024/07/09```: Модель GLM-4-9B-Chat теперь совместима с [Ollama](https://github. com/ollama/ollama) и [Llama. cpp](https://github. com/ggerganov/llama. cpp). Подробную информацию можно найти в этом [PR](https://github. com/ggerganov/llama. cpp/pull/8031). - 🔥 **Новости**: ```2024/06/18```: Мы выпустили [технический отчет](https://arxiv. org/pdf/2406. 12793), доступный для просмотра. - 🔥 **Новости**: ```2024/06/05```: Мы выпустили серию открытых моделей GLM-4-9B. ## Введение в модельGLM-4-9B — это открытая версия последней генерации предобученных моделей серии GLM-4, выпущенная компанией Zhipu AI. В оценках данных по семантике, математике, логике, коду и знаниям, **GLM-4-9B** и его версия, синхронизированная с человеческими предпочтениями, **GLM-4-9B-Chat**, показали превосходное качество, превосходящее Llama-3-8B. В дополнение к многооконным беседам, **GLM-4-9B-Chat** также обладает продвинутыми функциями, такими как веб-обзор, выполнение кода, вызовы пользовательских инструментов (Function Call) и анализ длинного текста (поддерживает до 128К контекста). Эта генерация моделей добавила поддержку нескольких языков, включая 26 языков, таких как японский, корейский и немецкий. Мы также представили модель **GLM-4-9B-Chat-1M**, поддерживающую длину контекста 1М (около 2 миллионов китайских символов) и многомодельную модель GLM-4V-9B на основе GLM-4-9B. **GLM-4V-9B** обладает диалоговыми возможностями на китайском и английском языках с высоким разрешением 1120*1120. В различных многомодальных оценках, включая всеобъемлющие возможности на китайском и английском языках, восприятие & логику, распознавание текста и понимание графиков, GLM-4V-9B демонстрирует превосходное качество, превосходящее GPT-4-turbo-2024-04-09, Gemini 1.0 Pro, Qwen-VL-Max и Claude 3 Opus.## Список моделей| Модель | Тип | Длина последовательности | Версия Transformers | Скачать | Онлайн-демо | |:-------------------:|:----:|:------------------------:|:--------------------:|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:| | GLM-4-9B | Base | 8K | `4.44.0 - 4.45.0` | [🤗 Huggingface](https://huggingface.co/THUDM/glm-4-9b)| Модель | AlignBench | MT-Bench | IFEval | MMLU | C-Eval | GSM8K | MATH | HumanEval | NaturalCodeBench |
|---|---|---|---|---|---|---|---|---|---|
| Llama-3-8B-Instruct | 6.40 | 8.00 | 68.58 | 68.4 | 51.3 | 79.6 | 30.0 | 62.2 | 24.7 |
| ChatGLM3-6B | 5.18 | 5.50 | 28.1 | 66.4 | 69.0 | 72.3 | 25.7 | 58.5 | 11.3 |
| GLM-4-9B-Chat | 7.01 | 8.35 | 69.0 | 72.4 | 75.6 | 79.6 | 50.6 | 71.8 | 32.2 |
| Модель | MMLU | C-Eval | GPQA | GSM8K | MATH | HumanEval |
|---|---|---|---|---|---|---|
| Llama-3-8B | 66.6 | 51.2 | - | 45.8 | - | 33.5 |
| Llama-3-8B-Instruct | 68.4 | 51.3 | 34.2 | 79.6 | 30.0 | 62.2 |
| ChatGLM3-6B-Base | 61.4 | 69.0 | 26.8 | 72.3 | 25.7 | 58.5 |
| GLM-4-9B | 74.7 | 77.1 | 34.3 | 84.0 | 30.4 | 70.1 |
Поскольку
GLM-4-9Bдобавляет некоторые математические, логические и кодовые инструкции во время предобучения, модель Llama-3-8B-Instruct также включена в диапазон сравнения.
Эксперимент needle-in-the-haystack был проведен с длиной контекста 1М, и результаты следующие:
Дополнительная оценка способности работы с длинным текстом была проведена на LongBench-Chat, и результаты следующие:
| Датасет | Llama-3-8B-Instruct | GLM-4-9B-Chat | Языки |
|---|---|---|---|
| M-MMLU | 49,6 | 56,6 | все |
| FLORES | 25,0 | 28,8 | ru, es, de, fr, it, pt, pl, ja, nl, ar, tr, cs, vi, fa, hu, el, ro, sv, uk, fi, ko, da, bg, no |
| MGSM | 54,0 | 65,3 | zh, en, bn, de, es, fr, ja, ru, sw, te, th |
| XWinograd | 61,7 | 73,1 | zh, en, fr, jp, ru, pt |
| XStoryCloze | 84,7 | 90,7 | zh, en, ar, es, eu, hi, id, my, ru, sw, te |
| XCOPA | 73,3 | 80,1 | zh, et, ht, id, it, qu, sw, ta, th, tr, vi |
на лидерборде вызова функций Berkeley.
| Модель | Общая точность | AST Summary | Summary выполнения | Релевантность |
|---|---|---|---|---|
| Llama-3-8B-Instruct | 58.88 | 59.25 | 70.01 | 45.83 |
| gpt-4-turbo-2024-04-09 | 81.24 | 82.14 | 78.61 | 88.75 |
| ChatGLM3-6B | 57.88 | 62.18 | 69.78 | 5.42 |
| GLM-4-9B-Chat | 81.00 | 80.26 | 84.40 | 87.92 |
|----------------------------|---------------------|---------------------|-------------------|------------|----------|---------|--------------------|----------|--------------| | gpt-4o-2024-05-13 | 83.4 | 82.1 | 77.1 | 63.9 | 69.2 | 2310.3 | 55 | 84.6 | 736 | | gpt-4-turbo-2024-04-09 | 81.0 | 80.2 | 73.0 | 56.0 | 61.7 | 2070.2 | 43.9 | 78.6 | 656 | | gpt-4-1106-preview | 77.0 | 74.4 | 72.3 | 49.7 | 53.8 | 1771.5 | 46.5 | 75.9 | 516 | | InternVL-Chat-V1.5 | 82.3 | 80.7 | 75.2 | 57.1 | 46.8 | 2189.6 | 47.4 | 80.6 | 720 | | LLaVA-Next-Yi-34B | 81.1 | 79.0 | 75.7 | 51.6 | 48.8 | 2050.2 | 34.8 | 78.9 | 574 | | Step-1V | 80.7 | 79.9 | 70.3 | 50.0 | 49.9 | 2206.4 | 48.4 | 79.2 | 625 | | MiniCPM-Llama3-V2.5 | 77.6 | 73.8 | 72.3 | 51.8 | 45.8 | 2024.6 | 42.4 | 78.4 | 725 | | Qwen-VL-Max | 77.6 | 75.7 | 72.7 | 49.5 | 52.0 | 2281.7 | 41.2 | 75.7 | 684 | | Gemini 1.0 Pro | 73.6 | 74.3 | 70.7 | 38.6 | 49.0 | 2148.9 | 45.7 | 72.9 | 680 | | Claude 3 Opus | 63.3 | 59.2 | 64.0 | 45.7 | 54.9 | 1586.8 | 37.8 | 70.6 | 694 || GLM-4V-9B | 81.1 | 79.4 | 76.8 | 58.7 | 47.2 | 2163.8 | 46.6 | 81.1 | 786 |
Используйте backend transformers для вывода:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0' # Установите номер GPU. Если вывод с несколькими GPU, установите несколько номеров GPU
MODEL_PATH = "THUDM/glm-4-9b-chat-hf"
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
query = "привет"
inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],
add_generation_prompt=True,
tokenize=True,
return_tensors="pt",
return_dict=True
)
inputs = inputs.to(device)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
trust_remote_code=True,
device_map="auto"
).eval()
gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}
with torch.no_grad():
outputs = model.generate(**inputs, **gen_kwargs)
outputs = outputs[:, inputs['input_ids'].shape[1]:]
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Используйте backend vLLM для вывода:
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams
# GLM-4-9B-Chat
# Если вы столкнулись с ошибкой OOM, вы можете попробовать уменьшить max_model_len или увеличить tp_size
max_model_len, tp_size = 131072, 1
model_name = "THUDM/glm-4-9b-chat-hf"
prompt = [{"role": "user", "content": "привет"}]
```tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
llm = LLM(
model=model_name,
tensor_parallel_size=tp_size,
max_model_len=max_model_len,
trust_remote_code=True,
enforce_eager=True,
# если вы столкнулись с ошибкой OOM в GLM-4-9B-Chat-1M, вы можете попробовать включить следующие параметры
# enable_chunked_prefill=True,
# max_num_batched_tokens=8192
)
stop_token_ids = [151329, 151336, 151338]
sampling_params = SamplingParams(temperature=0.95, max_tokens=1024, stop_token_ids=stop_token_ids)
```inputs = tokenizer.apply_chat_template(prompt, tokenize=False, add_generation_prompt=True)
outputs = llm.generate(prompts=inputs, sampling_params=sampling_params)```
Внесены следующие изменения:
- Переведены комментарии и текстовые описания.
- Исправлены знаки препинания и пробелы.
- Убраны лишние пробелы и символы.```python
print(outputs[0].outputs[0].text)
Используйте бэкенд transformers для вывода:
import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0' # Установите номер GPU. Если вывод с нескольких GPU, установите несколько номеров GPU
MODEL_PATH = "THUDM/glm-4v-9b"
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
query = 'Опишите это изображение'
image = Image.open("ваше изображение").convert('RGB')
inputs = tokenizer.apply_chat_template([{"role": "user", "image": image, "content": query}],
add_generation_prompt=True, tokenize=True, return_tensors="pt",
return_dict=True) # режим чата
inputs = inputs.to(device)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
trust_remote_code=True,
device_map="auto"
).eval()
gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 1}
with torch.no_grad():
outputs = model.generate(**inputs, **gen_kwargs)
outputs = outputs[:, inputs['input_ids'].shape[1]:]
print(tokenizer.decode(outputs[0]))
Используйте бэкенд vLLM для вывода:
from PIL import Image
from vllm import LLM, SamplingParams
model_name = "THUDM/glm-4v-9b"
llm = LLM(model=model_name,
tensor_parallel_size=1,
max_model_len=8192,
trust_remote_code=True,
enforce_eager=True)
stop_token_ids = [151329, 151336, 151338]
sampling_params = SamplingParams(temperature=0.2,
max_tokens=1024,
stop_token_ids=stop_token_ids)
``````markdown
prompt = "Какова содержание изображения?"
image = Image.open("ваше изображение").convert('RGB')
inputs = {
"prompt": prompt,
"multi_modal_data": {
"image": image
},
}
outputs = llm.generate(inputs, sampling_params=sampling_params)
for o in outputs:
generated_text = o.outputs[0].text
print(generated_text)
Если вы хотите узнать больше о серии открытых моделей GLM-4-9B, этот открытый репозиторий предоставляет разработчикам базовые инструкции по использованию и разработке GLM-4-9B через следующие разделы:
+ [basic_demo](basic_demo/README.md): Содержит
+ Код взаимодействия с использованием бэкенда transformers и vLLM
+ Код взаимодействия с бэкендом OpenAI API
+ Код для пакетного анализа
+ [composite_demo](composite_demo/README.md): Содержит
+ Полностью функциональный демонстрационный код для открытых моделей GLM-4-9B и GLM-4V-9B, включая все возможности инструментов, анализ длинных документов и многомодальные возможности.
+ [finetune_demo](finetune_demo/README.md): Содержит
+ Код для тонкой настройки с использованием PEFT (LORA, P-Tuning)
+ Код для тонкой настройки с использованием SFT
+ [intel_device_demo](intel_device_demo/): Содержит
+ Код развертывания OpenVINO
+ Код развертывания Intel® Extension for Transformers
## Дружественные ссылки+ [LLaMA-Factory](https://github.com/hiyouga/LLaMA-Factory): Эффективный открытый фреймворк для тонкой настройки, уже поддерживает тонкую настройку модели языка GLM-4-9B-Chat.
+ [SWIFT](https://github.com/modelscope/swift): Фреймворк для обучения LLM/VLM от ModelScope, поддерживает тонкую настройку GLM-4-9B-Chat / GLM-4V-9b.
+ [Xorbits Inference](https://github.com/xorbitsai/inference): Улучшенный по производительности и всеобъемлющий глобальный фреймворк для инференса, легко развернуть свои собственные модели или импортировать передовые открытые модели одним щелчком мыши.
+ [LangChain-ChatChat](https://github.com/chatchat-space/Langchain-Chatchat): Приложения RAG и Agent на основе моделей языка Langchain и ChatGLM.
+ [self-llm](https://github.com/datawhalechina/self-llm/tree/master/models/GLM-4): Проект self-llm от Datawhale, который включает кулинарную книгу для открытой модели GLM-4-9B.
+ [chatglm.cpp](https://github.com/li-plus/chatglm.cpp): Временная интерпретация на вашем ноутбуке, ускоренная квантованием, аналогично llama.cpp.
+ [OpenVINO](https://github.com/openvinotoolkit): GLM-4-9B-Chat уже поддерживает использование OpenVINO. Инструментарий ускоряет инференс и обеспечивает более значительное улучшение скорости инференса на устройствах GPU, GPU и NPU Intel. Для конкретного использования обратитесь к [ноутбукам OpenVINO](https://github.com/openvinotoolkit/openvino_notebooks/blob/latest/notebooks/llm-chatbot/llm-chatbot-generate-api.ipynb).
## Лицензия+ Использование весов модели GLM-4 должно соответствовать
[Лицензии модели](https://huggingface.co/THUDM/glm-4-9b/blob/main/LICENSE).
+ Код в этом открытом репозитории подчиняется лицензии [Apache Yö 2.0](LICENSE).
Пожалуйста, строго соблюдайте условия открытой лицензии.
## Ссылки
Если вы считаете наше исследование полезным, пожалуйста, укажите следующую статью.
@misc{glm2024chatglm, title={ChatGLM: Семейство больших языковых моделей от GLM-130B до GLM-4 Все инструменты}, author={Команда GLM и Аohan Zeng и Bin Xu и Bowen Wang и Chenhui Zhang и Da Yin и Diego Rojas и Guanyu Feng и Hanlin Zhao и Hanyu Lai и Hao Yu и Hongning Wang и Jiadai Sun и Jiajie Zhang и Jiale Cheng и Jiayi Gui и Jie Tang и Jing Zhang и Juanzi Li и Lei Zhao и Lindong Wu и Lucen Zhong и Mingdao Liu и Minlie Huang и Peng Zhang и Qinkai Zheng и Rui Lu и Shuaiqi Duan и Shudan Zhang и Shulin Cao и Shuxun Yang и Weng Lam Tam и Wenyi Zhao и Xiao Liu и Xiao Xia и Xiaohan Zhang и Xiaotao Gu и Xin Lv и Xinghan Liu и Xinyi Liu и Xinyue Yang и Xixuan Song и Xunkai Zhang и Yifan An и Yifan Xu и Yilin Niu и Yuantao Yang и Yueyan Li и Yushi Bai и Yuxiao Dong и Zehan Qi и Zhaoyu Wang и Zhen Yang и Zhengxiao Du и Zhenyu Hou и Zihan Wang}, year={2024}, eprint={2406.12793}, archivePrefix={arXiv}, primaryClass={id='cs.CL' full_name='Обработка естественного языка' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Объединяет материалы по обработке естественного языка. Включает работу по обработке естественного языка, обработке текста, обработке речи, поиску информации и т.д.'} }
@misc{wang2023cogvlm,
title={CogVLM: Визуальный эксперт для предобученных языковых моделей},
author={Weihan Wang и Qingsong Lv и Wenmeng Yu и Wenyi Hong и Ji Qi и Yan Wang и Junhui Ji и Zhuoyi Yang и Lei Zhao и Xixuan Song и Jiazheng Xu и Bin Xu и Juanzi Li и Yuxiao Dong и Ming Ding и Jie Tang},
year={2023},
eprint={2311.03079},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
```
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )