01. The Frontier Challenge: 816B Parameter MoE on H200
O Muse Spark Open representa o estado da arte em modelos Mixture-of-Experts com 816 bilhões de parâmetros totais, 256 especialistas roteados e pesos quantizados em NVFP4 (W4A16). O desafio dividiu-se em duas etapas de alta complexidade:
- Kernel Track (22 Out - 04 Nov 2026): Otimização de 5 problemas de baixo nível executados isoladamente em uma GPU H200, competindo contra o baseline nativo do framework SGLang.
- Serving Track (10 Nov - 19 Nov 2026): Criação de um patch para a base de código do SGLang (commit
a55ab7d5) em um nó completo com 8 GPUs H200, medindo throughput em conversas multi-turnos de codificação com DFlash speculative decoding nas concorrências 1, 4, 16 e 32.
02. Kernel Track: Tabela Oficial de Performance
Resultados consolidados no encerramento da primeira fase (classificação 456 entre mais de 1.000 equipes internacionais):
| Kernel Problem | Speedup vs SGLang | Estratégia & Fonte |
|---|---|---|
| muse_attention_decode | 2.580x | vjeux/okc-2026 (Apache-2.0) |
| muse_decode_layer | 2.136x | Madhavan113/kerneloptimizer (Apache-2.0) |
| muse_moe_w4a16 | 2.339x | Madhavan113/kerneloptimizer (Apache-2.0) |
| muse_bf16_proj | 1.500x | vjeux/okc-2026 (Apache-2.0) |
Além dos códigos integrados, desenvolvemos kernels autorais em Gluon warp-specialized attention verify atingindo 1.892x de aceleração, bem como harnesses de medição em infraax preservados em EXPERIMENTS.md.
03. Serving Strategy: Zero-Copy Marlin MoE Engine
Na fase de Serving, os especialistas roteados dominam o tempo de execução acima de 16 conexões simultâneas. O maior desafio era a memória: reempacotar pesos NVFP4 exigiria duplicar os especialistas (cerca de 57 GB extras por GPU), estourando a VRAM e inviabilizando o KV cache.
// 01: MoE em Tensores Nativos do Marlin (mk_moe)Nosso kernel lê diretamente os tiles de peso e escalas do Marlin exatamente como armazenados, operando com um anel assíncrono cp.async por warp e split-K determinístico. Roda 1.6x a 2.0x mais rápido que o Marlin padrão sem consumir 1 byte extra de VRAM.
// 02: Projeções BF16 com Tabela Determinística (proj_mk)Projeções QKV, O, pooler e router usam cópias comprimidas sem perdas verificadas bit a bit na carga, consumindo apenas 6.8 GB extras por GPU e garantindo erro numérico inferior a 1.5e-4 em relação aos GEMMs nativos.
// 03: Especulação Híbrida: Prompt-Lookup no DFlashNo contexto de programação com agentes autônomos, muito código é repetido. Implementamos busca por sufixo diretamente na GPU: quando o casamento é maior ou igual a 4 tokens, o prompt-lookup substitui a proposta do DFlash sem comunicação com a CPU host, aumentando os tokens aceitos por ciclo.
“Paridade numérica foi tratada como invariante de primeira classe: cada substituição foi comparada com o L2 relativo do SGLang nativo, garantindo que o modelo nunca alucinasse sob otimizações agressivas.”— Vinicius Pontual, Serving Track Architecture
04. Hipóteses Rejeitadas por Rigor Métrico
A engenharia de alta performance é guiada por descartar ideias intuitivas que falham em medições reais:
05. Especificações do Cluster & Layout dos Patches
Ambiente de execução, dependências e estrutura de arquivos:
| Componente | Especificação Técnica |
|---|---|
| Arquitetura de GPU | NVIDIA H200 SXM5 (141GB HBM3e, 4.8 TB/s de largura de banda) |
| Framework Alvo | SGLang (Commit a55ab7d5 / Branch my-patch) |
| Quantização de Pesos | NVFP4 W4A16 com tiles e escalas de Marlin |
| Decodificação Especulativa | DFlash (8 draft tokens) + Hybrid Prompt-Lookup |
serve/patch_full_hybrid.diffbash tools/run_preflight_checks.sh