EmpoorioLM: Modelos y Specs.

Módulos de arquitectura

• 1

  Paged Attention

  KVBlockTable con Copy-on-Write. Bloques de 16 tokens. Reutilización de páginas en generación paralela. Compatible con beam search y speculative decoding. Eficiencia de memoria comparable a vLLM.

• 2

  Selective SSM — Mamba S6

  Bloques MambaBlock con SelectiveSSM intercalados cada N capas (ssm_every_n_layers). Expansión D=4 con kernel discreto. Captura dependencias largas en O(L) en vez de O(L²). Menor coste cuadrático que atención pura.

• 3

  Multi-Token Prediction

  MTPModule con MTPHead. Predice K tokens futuros en paralelo (mtp_num_heads configurable). Aceleración de decoding 1.8–2.4× respecto a autoregresión pura con la misma calidad de output.

• 4

  FP8 Training

  FP8Linear con DelayedScaling y historial amax. apply_fp8_to_model reemplaza capas Linear. Reduce uso de VRAM ~50% respecto a bfloat16. Compatible con FSDP2 + Tensor Parallelism + Pipeline Parallelism.

• 5

  SimPO Alignment

  Simple Preference Optimization sin reward model externo. Entrena desde checkpoint SFT con 34+ pares anotados en simpo_pairs.jsonl. Convergencia en minutos. Alternativa eficiente a RLHF clásico.

• 6

  zkML — Inferencia Verificable

  Las inferencias de EmpoorioLM pueden probarse criptográficamente on-chain via pallet-zk-verifier de EmpoorioChain. Transparencia total del modelo sin custodio central. IA auditable por defecto.