ChatGLM

ChatGLM-130B是由Al编程助手「CodeGeex」背后的智谱Al团队开发的1300亿参数的开源的、支持中英双语的对话语言模型。

GLM-130B是一个开源开放的双语（中文和英文）双向稠密模型，拥有1300亿参数，模型架构采用通用语言模型(GLM1)。它旨在支持在一台A100(40G*8)或V100(32G*8)服务器上对千亿规模参数的模型进行推理。截至2022年7月3日，GLM-130B已完成4000亿个文本标识符（中文和英文各2000亿)的训练，它有以下独特优势：

1）双语：同时支持中文和英文。

2）高精度（英文）：在LAMBADA上优于GPT-3175B(+4.0%)、OPT-175B(+5.5%)和BLO0M-176B(+13.0%),在MMLU上略优于GPT-3175B(+0.9%)。

3）高精度（中文）：在7个零样本CLUE数据集(+24.26%)和5个零样本FewCLUE数据集(+12.75%)上明显优于ERNIE TITAN3.0260B.

4）快速推理：支持用一台A100服务器使用SAT和FasterTransformer进行快速推理（提速最高可达2.5倍）。

5）可复现性：所有结果（超过30个任务）均可通过我们的开源代码和模型参数轻松复现。

6）跨平台：支持在NVIDIA、Hygon DCU、Ascend910和Sunway处理器上进行训练与推理。