glm 4 9b chat 1m EU AI Act Compliance Profile

GLM-4-9B-Chat-1M

Read this in English.

2024/08/12, 本仓库代码已更新并使用 transforemrs>=4.44.0, 请及时更新依赖。

2024/07/24，我们发布了与长文本相关的最新技术解读，关注 这里 查看我们在训练 GLM-4-9B 开源模型中关于长文本技术的技术报告

模型介绍

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。 本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。

评测结果

长文本

在 1M 的上下文长度下进行大海捞针实验，结果如下：

在 LongBench-Chat 上对长文本能力进行了进一步评测，结果如下:

本仓库是 GLM-4-9B-Chat-1M 的模型仓库，支持1M上下文长度。

运行模型

更多推理代码和依赖信息，请访问我们的 github。

请严格按照依赖安装，否则无法正常运行。

使用 transformers 后端进行推理:

import torch
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
)

device = "cuda"

tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat-1m",trust_remote_code=True)

query = "你好"

inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],
                                       add_generation_prompt=True,
                                       tokenize=True,
                                       return_tensors="pt",
                                       return_dict=True
                                       )

inputs = inputs.to(device)
model = AutoModelForCausalLM.from_pretrained(
    "THUDM/glm-4-9b-chat-1m",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()

gen_kwargs = {"max_length": 2500, "do_sampl

Your obligations as a glm 4 9b chat 1m deployer

Track your progress

Sign up to track obligations, receive deadline reminders, and generate audit packages.

Tags

Languages

Library