这个 AGI 将属于训练它的人

我们要做的是通用人工智能。我们未必最先到,但我们会是唯一一个把模型交给出算力、出数据把它训练出来的人,而不是交给一家公司。

状态

原型

· Inteligencia soberana

实测的扩张,不是估算

三级跳

模型经过三个实测阶段成长,从 3300 万到 6231 万参数。最后一次训练于 2026 年 8 月 1 日,损失在 2500 步、不到两小时内从 7.59 降到 1.66。

自有架构

这是一个完全由我们自己写出来的稠密 transformer,用了 RMSNorm、RoPE、多头注意力和 SwiGLU 网络。它没有继承别的模型的任何一行。

写在这里,不是拿来的

EmpoorioLM 是 Empoorio 的语言模型:架构写在这里,从零开始训练,不是把别人的开放模型拿来微调。这个决定更贵,而且是故意的。自己的模型可以整体审计,可以部署到需要它的任何地方,也不继承任何人的使用条款。

学新东西不用从头再来

新知识不需要重新训练。在基座模型上训练一个 LoRA 适配器再合并进去:每个适配器五兆字节,而完整模型是一百三十三兆。正是这一点让它可以持续学习而不必从头再来,也让用真实手机的闲置算力去精调成为可能。

从 6200 万到 5 万亿

这张阶梯是有日期的。从今天的 6200 万参数到 2027 年的 30 亿,再到 2030 年的 5 万亿。为了爬上去而不必按比例付算力,有四件东西已经写好并关着:带 Expert Choice 路由的专家混合、MLA 潜在注意力、8 位整数 KV 缓存,以及 SimPO/GRPO 对齐。

在中心训练,在手机上精调

预训练是集中的,精调靠分散在真实设备上的 LoRA 适配器:一台 POCO F8 PRO 和一台 Redmi PAD SE 作为现场节点,再加一台 2012 年的 MacBook,用来确认它在老硬件上也能跑。它不提供下载:它住在 AiloOS 里,在 www.ailoos.com 上。

现在还小,而且看得出来

在 6200 万参数、见过约 1020 万 token 的情况下,它生成的文本还是坏的:写不出连贯的代码。这是数据和算力的规模问题,不是架构问题。

专家混合和 MLA 潜在注意力已经实现但关着:还没有任何训练好的模型用上它们。

手机集群不会让模型变大。它只在上一次集中预训练定下的体量之内提升质量。

手机上的 LoRA 训练目前是一个代理任务,这个信号对大模型是否和对小模型一样有效,还没有验证。这是最重要的一块待解研究。

EmpoorioLM | Empoorio | empoorio