开源模型

A5站长网10月16日消息，蚂蚁百灵团队开源了Ling-3.1-flash，总参数约5600亿，每个token激活约250亿，上下文窗口最高支持100万token。权重已经上传到HuggingFace与ModelScope，可以直接下载。参数结构上它走的是MoE架构，配合线性注意力做混合。每8层里有7层是线性注意力、1层是门控注意力；一共512个路由专家，每个token选8个，外加1个共享专家。这