A AGI será de quem a treinar

Vamos atrás de uma inteligência artificial geral. Pode ser que não cheguemos primeiro, mas seremos os únicos cujo modelo pertence a quem pôs a computação e os dados para o treinar, e não a uma empresa.

Estado

Protótipo

· Inteligencia soberana

Escalado medido, não estimado

Três saltos

O modelo cresceu em três etapas medidas, de 33 para 62,31 milhões de parâmetros. Na última, treinada a 1 de agosto de 2026, a perda baixou de 7,59 para 1,66 em 2.500 passos e menos de duas horas.

Arquitetura própria

É um transformer denso escrito inteiramente por nós, com RMSNorm, RoPE, atenção multicabeça e rede SwiGLU. Não herda uma única linha de outro modelo.

Escrito aqui, não adotado

O EmpoorioLM é o modelo de linguagem da Empoorio: a arquitetura escreve-se aqui e treina-se de raiz, não é um modelo aberto de terceiros afinado. Essa decisão custa mais e toma-se de propósito. Um modelo próprio audita-se por inteiro, executa-se onde for preciso e não herda as condições de uso de ninguém.

Aprende sem recomeçar

O conhecimento novo não exige retreinar. Treina-se um adaptador LoRA sobre o modelo base e funde-se: cinco megabytes por adaptador contra os cento e trinta e três do modelo completo. É isso que lhe permite aprender de forma contínua sem recomeçar, e o que torna viável refiná-lo com computação ociosa em telemóveis reais.

De 62 milhões a cinco biliões

A escada tem datas. Dos 62 milhões de parâmetros de hoje para 3.000 milhões em 2027, e daí para cinco biliões em 2030. Para subir sem pagar a computação proporcional esperam já implementadas, e desligadas, a mistura de especialistas com encaminhamento Expert Choice, a atenção latente MLA, a cache KV em inteiro de 8 bits e o alinhamento SimPO/GRPO.

Treinado no centro, afinado nos telemóveis

O pré-treino é centralizado e o refinamento corre em adaptadores LoRA repartidos por aparelhos reais: um POCO F8 PRO e uma Redmi PAD SE como nós de campo, e um MacBook de 2012 para confirmar que também corre em hardware antigo. Não se descarrega: vive dentro do AiloOS, em www.ailoos.com.

Ainda pequeno, e nota-se

Com 62 milhões de parâmetros e cerca de 10,2 milhões de tokens vistos, o texto que gera ainda está partido: não produz código coerente. É escala de dados e computação, não arquitetura.

A mistura de especialistas e a atenção latente MLA estão implementadas e desligadas: nenhum modelo treinado as usa ainda.

A frota de telemóveis não faz o modelo crescer. Melhora a sua qualidade dentro do tamanho fixado pelo último pré-treino centralizado.

O treino LoRA no telemóvel é hoje uma tarefa proxy, e não está validado se esse sinal melhora os modelos grandes tanto como os pequenos. É a peça de investigação pendente mais importante.

EmpoorioLM | Empoorio | empoorio