Три шага
Модель выросла за три измеренных этапа, с 33 до 62,31 миллиона параметров. На последнем, обученном 1 августа 2026 года, потери упали с 7,59 до 1,66 за 2500 шагов и менее чем за два часа.
Мы идём к общему искусственному интеллекту. Возможно, придём не первыми, но мы будем единственными, чья модель принадлежит тем, кто вложил вычисления и данные в её обучение, а не компании.
Состояние
Прототип
· Inteligencia soberanaМодель выросла за три измеренных этапа, с 33 до 62,31 миллиона параметров. На последнем, обученном 1 августа 2026 года, потери упали с 7,59 до 1,66 за 2500 шагов и менее чем за два часа.
Это плотный трансформер, написанный нами целиком, с RMSNorm, RoPE, многоголовым вниманием и сетью SwiGLU. Он не наследует ни строчки от чужой модели.
Показатели модели измерены 1 августа 2026 года; остальное в карточке — 7 октября.
EmpoorioLM — языковая модель Empoorio: архитектура написана здесь и обучена с нуля, а не чужая открытая модель, которую дообучили. Это решение дороже и принято сознательно. Свою модель можно проверить целиком, запускать там, где нужно, и она не наследует ничьих условий использования.
Новые знания не требуют переобучения. Поверх базовой модели обучается адаптер LoRA и вливается в неё: пять мегабайт на адаптер против ста тридцати трёх у полной модели. Именно это позволяет учиться непрерывно, не начиная заново, и делает осуществимой доводку на простаивающих мощностях настоящих телефонов.
У лестницы есть даты. От сегодняшних 62 миллионов параметров к 3 миллиардам в 2027 году и оттуда к пяти триллионам в 2030-м. Чтобы подняться, не платя пропорциональными вычислениями, уже написаны и выключены четыре вещи: смесь экспертов с маршрутизацией Expert Choice, латентное внимание MLA, KV-кэш в 8-битных целых и выравнивание SimPO/GRPO.

Предобучение централизованное, а доводка идёт через адаптеры LoRA, распределённые по настоящим устройствам: POCO F8 PRO и Redmi PAD SE как полевые узлы и MacBook 2012 года, чтобы убедиться, что он работает и на старом железе. Скачивать нечего: он живёт внутри AiloOS, на www.ailoos.com.
При 62 миллионах параметров и примерно 10,2 миллиона просмотренных токенов текст, который он выдаёт, всё ещё ломаный: связного кода он не пишет. Это вопрос масштаба данных и вычислений, а не архитектуры.
Смесь экспертов и латентное внимание MLA реализованы и выключены: ни одна обученная модель их пока не использует.
Парк телефонов не делает модель больше. Он улучшает её качество в пределах размера, заданного последним централизованным предобучением.
Обучение LoRA на телефоне сегодня — это прокси-задача, и не проверено, улучшает ли этот сигнал большие модели так же, как маленькие. Это самая важная нерешённая исследовательская часть.
