面壁智能发布 Eurux-8x22B 开源大模型：代码性能超越 Llama3-70B

面壁智能发布 Eurux-8x22B 开源大模型：代码性能超越 Llama3-70B

开源社区又迎来了一个重量级选手。面壁智能最新推出的 Eurux-8x22B 系列模型，凭借出色的推理能力，引起了广泛关注。这个系列包含 Eurux-8x22B-NCA 与 Eurux-8x22B-KTO 两个版本，目标直指复杂问题求解的高地。

效果如何？官方给出了相当硬核的测试数据。在由180道真题构成的 LeetCode 编程测试，以及考验数理逻辑的 TheoremQA（相当于美国大学STEM课程水平）上，Eurux-8x22B 的表现均超过了参数量更大的 Llama3-70B。更有看点的是，它在 LeetCode 测试中甚至超越了闭源的 GPT-3.5-Turbo。这个成绩，足以让开发者们眼前一亮。

那么，这套模型的底子从何而来？Eurux-8x22B 是在 Mixtral-8x22B 的基座模型上进行深度对齐训练得到的产物。它的激活参数为39B，并支持长达64K的上下文窗口。关键在于其训练数据——团队使用了专门为提升推理能力而设计的 UltraInteract 对齐数据集。

这套数据集可谓是“推理特训营”。它规模庞大且质量精良，汇聚了涵盖数学、编程和逻辑推理等核心领域的12个开源数据集精华，最终整合了约86K条指令和220K个偏好对，数据总量达到五十万条左右。正是基于这样的“养料”，模型才锤炼出了超越同侪的推理本领。

来源：互联网