Sakura 14B Qwen2.5 v1.0 GGUF EU AI Act Compliance Profile

1.0版本——功能性更新：

• 改善翻译质量，提高翻译准确率，尤其是人称的准确率。
• 支持术语表(GPT字典)，以保持专有名词和人称的一致性。
• 提高部分简单控制符的保留能力，尤其是单行内存在\n的情况下保留\n的能力。降低行数与原文不一致的概率。
• 由于底模使用GQA，推理速度和显存占用显著改善，可实现更快的多线程推理。关于多线程推理，可参考Sakura启动器GUI使用教程或SakuraLLMServer。

prompt格式：

        gpt_dict = [{
          "src": "原文1",
          "dst": "译文1",
          "info": "注释信息1",
        },]
        gpt_dict_text_list = []
        for gpt in gpt_dict:
            src = gpt['src']
            dst = gpt['dst']
            info = gpt['info'] if "info" in gpt.keys() else None
            if info:
                single = f"{src}->{dst} #{info}"
            else:
                single = f"{src}->{dst}"
            gpt_dict_text_list.append(single)

        gpt_dict_raw_text = "\n".join(gpt_dict_text_list)

        user_prompt = "根据以下术语表（可以为空）：\n" + gpt_dict_raw_text + "\n" + "将下面的日文文本根据对应关系和备注翻译成中文：" + japanese
        prompt = "<|im_start|>system\n你是一个轻小说翻译模型，可以流畅通顺地以日本轻小说的风格将日文翻译成简体中文，并联系上下文正确使用人称代词，不擅自添加原文中没有的代词。<|im_end|>\n" \ # system prompt
        + "<|im_start|>user\n" + user_prompt + "<|im_end|>\n" \ # user prompt
        + "<|im_start|>assistant\n" # assistant prompt start

        # 如果术语表为空，也可以使用如下prompt（在术语表为空时更加推荐）
        user_prompt = "将下面的日文文本翻译成中文：" + japanese
        prompt = "<|im_start|>system\n你是一个轻小说翻译模型，可以流畅通顺地以日本轻小说的风格将日文翻译成简体中文，并联系上下文正确使用人称代词，不擅自添加原文中没有的代词。<|im_end|>\n" \ # system prompt
        + "<|im_start|>user\n" + user_prompt + "<|im_end|>\n" \ # user prompt
        + "<|im_start|>assistant\n" # assistant prompt start

Your obligations as a Sakura 14B Qwen2.5 v1.0 GGUF deployer

Track your progress

Sign up to track obligations, receive deadline reminders, and generate audit packages.

Tags