La AGI será de quien la entrene

Vamos a por una inteligencia artificial general. Puede que no lleguemos los primeros, pero seremos los únicos cuyo modelo pertenezca a quienes pusieron el cómputo y los datos para entrenarlo, y no a una empresa.

Estado

Prototipo

· Inteligencia soberana

Escalado medido, no estimado

Tres saltos

El modelo ha crecido en tres etapas medidas, de 33 a 62,31 millones de parámetros. En la última, entrenada el 1 de agosto de 2026, la pérdida bajó de 7,59 a 1,66 en 2.500 pasos y menos de dos horas.

Arquitectura propia

Es un transformer denso escrito íntegramente por nosotros, con RMSNorm, RoPE, atención multicabeza y red SwiGLU. No hereda una sola línea de otro modelo.

Escrito aquí, no adoptado

EmpoorioLM es el modelo de lenguaje de Empoorio: arquitectura escrita aquí y entrenada desde cero, no un modelo abierto de un tercero afinado. Esa decisión cuesta más y se toma a propósito. Un modelo propio se audita entero, se ejecuta donde haga falta y no hereda las condiciones de uso de nadie.

Aprende sin volver a empezar

El conocimiento nuevo no exige reentrenar. Se entrena un adaptador LoRA sobre el modelo base y se fusiona: cinco megabytes por adaptador frente a los ciento treinta y tres del modelo completo. Eso es lo que permite que aprenda de forma continua sin volver a empezar, y lo que hace viable refinarlo con cómputo ocioso en teléfonos reales.

De 62 millones a cinco billones

La escalera tiene fechas. De los 62 millones de parámetros de hoy a 3.000 millones en 2027, y de ahí a cinco billones en 2030: cinco millones de millones. Para subir sin pagar el cómputo proporcional esperan ya implementadas, y apagadas, la mezcla de expertos con enrutado Expert Choice, la atención latente MLA, la caché KV en entero de 8 bits y la alineación SimPO/GRPO.

Entrenado en el centro, afinado en los móviles

El preentrenamiento es centralizado y el refinamiento va por adaptadores LoRA repartidos entre aparatos reales: un POCO F8 PRO y una Redmi PAD SE como nodos de campo, y un MacBook de 2012 para comprobar que también corre en hardware viejo. No se descarga: vive dentro de AiloOS, en www.ailoos.com.

Pequeño todavía, y se nota

A 62 millones de parámetros y con unos 10,2 millones de tokens vistos, el texto que genera todavía está roto: no produce código coherente. Es escala de datos y cómputo, no arquitectura.

La mezcla de expertos y la atención latente MLA están implementadas y apagadas: ningún modelo entrenado las usa todavía.

La flota de teléfonos no hace crecer el modelo. Mejora su calidad dentro del tamaño que fijó el último preentrenamiento centralizado.

El entrenamiento LoRA en el teléfono es hoy una tarea proxy, y está sin validar si esa señal mejora los modelos grandes igual que los pequeños. Es la pieza de investigación pendiente más importante.

EmpoorioLM | Empoorio | empoorio