Dejaste atrás el caos de 15 carpetas sueltas. Ahora tenés una fábrica de IA que trabaja sola y se audita a sí misma.
agy-harness junta en un solo lugar todo el motor que coordina a tus agentes de Google, OpenAI y Anthropic. Explicado simple: en vez de chatear de a uno y cruzar los dedos para que la IA no rompa nada, ahora das una orden y un equipo entero programa, se controla entre empresas distintas y sólo guarda lo que pasa pruebas reales.
¿Qué obtuviste realmente a nivel usuario con agy-harness?
Sin jerga innecesaria: esto es lo que cambia en tu día a día cuando usás el sistema hoy frente a cómo funcionaba antes.
Mucho mantenimiento manual y riesgo oculto
- Todo desparramado: 15 carpetas distintas, 3 copias diferentes del candado de Jira y scripts que se pisaban entre sí.
- Sin red de seguridad común: si un agente metía datos de mentira o bajaba en silencio a un modelo barato, había que pescarlo a mano.
- Riesgo de perder trabajo o gastar de más: carpetas sin respaldo en Git y sin un cortacorriente único de cuota o secretos.
Una sola cabina de control limpia y predecible
- Dos pilares claros: todo lo que corre vive en
crisolabs/agy-harness; tus 77 recetas declarativas viven enai-skills. - Doble chequeo entre empresas: lo que escribe OpenAI lo audita Anthropic (y viceversa). Nadie se corrige su propio examen.
- Servicios activos 24/7:
jira-pool.service, Jira CLI/MCP y el guard de EPPA corren desde un único árbol versionado y probado.
Cero «humo» ni código de fachada
Un inspector automático (agyh.repo_lint) revisa el repositorio en medio segundo y rechaza cualquier dato inventado (MOCK_DATA), atajo de CI o carpeta temporal insegura.
Si una IA se queda sin cupo, el equipo sigue
Hoy mismo cuando Gemini llegó a 0% de cuota semanal, el ruteador pentamodal demostró que reparte el trabajo automáticamente entre OpenAI y Anthropic sin perder la revisión cruzada.
Cortacorriente de gastos y escudo de secretos
Antes de guardar o enviar nada, el pipeline detecta y censura 13 tipos de claves/tokens, limita concurrencia clínica en EPPA y frena el gasto si la cuota baja del umbral.
Todo lo viejo archivado y respaldado
Los 15 orígenes viejos se respaldaron bit a bit en Google Drive con huella SHA-256, los 11 repositorios legados quedaron archivados en GitHub y se liberaron 1,36 GiB en el servidor.
agy-harness vs. la ingeniera de SpaceX / xAI (Lauren Tan · pstack)
El flujo viral de SpaceX / xAI consiste en dirigir 20–50+ agentes en paralelo con roles claros, skills modulares, reglas duras de código y evaluaciones automáticas. Acá ves exactamente dónde empatamos, dónde la superamos y qué nos falta todavía (ese 10–15% honesto).
| Eje de comparación | SpaceX / xAI (Lauren Tan · pstack) | Tu sistema hoy (agy-harness) | Estado real |
|---|---|---|---|
| Escala en paralelo | 20 a 50+ agentes trabajando a la vez sin cuello de botella humano. | Olas reales ya corridas de 30, 40, 50 y 38 agentes (tope configurable de 60 en pool.toml). |
Empate (100%) |
| Revisión entre empresas distintas | Principalmente GrokBot / Claude revisándose dentro de la misma familia. | 3 empresas distintas (Google + OpenAI + Anthropic) con regla dura reviewer != author y 0% Flash. |
Ventaja nuestra |
| Auditoría de verdad de dominio | Verificadores de tests y navegador headless. | Oráculo frío (egm-domain-oracle) que verifica cada entrega contra DOMAIN_INVARIANTS.md exento de cuota. |
Ventaja nuestra |
| Memoria personal unificada | Mapas estáticos por repositorio. | Grafo Neo4j (1,34M mensajes, 372 personas) + archivo histórico automático en investigacion-lab/analisis. |
Ventaja nuestra |
| Reglas AST «Cocina Michelin» | Linters rápidos (< 1 s) dentro de cada repositorio de producto. | agyh.repo_lint corre en 480 ms (0 violaciones en el monorepo). Falta desplegarlo como hook en todos los repos de producto. |
Empate en motor |
| Pruebas unitarias por cada Skill | Evaluaciones automatizadas antes de habilitar cambios nocturnos. | agyh.skill_evals audita las 77 skills en 149 ms (0 Flash), pero hoy sólo 6 de 77 (7,8%) tienen tests conductuales propios. |
Brecha medida |
| Cómputo elástico y previews por PR | Créditos internos xAI sin techo semanal + previews automáticas en la nube. | Dependemos de cuotas semanales de suscripción y compilación en 1 host (pesado), expandible a tus 8 VPS Contabo (CI1..CI8). |
Brecha física |
Los 7 experimentos reales (0 datos inventados)
Todos los números abajo salieron de ejecutar python3 benchmarks/run_benchmarks.py en aranserver
(Linux x86_64, 18 CPUs, Python 3.12.3, corrida total de 25,55 segundos, resultados guardados en benchmarks/results.json).
Exp. 2 · Evaluador de 77 Skills
149 msExp. 3 · Candado de Jira en paralelo
5/5 limpiasExp. 4 · Podador de ruido en logs
−78,07%Exp. 5 · Ruteo Pentamodal y Failover
1,84 msExp. 6 · Guardrails y Secretos
13 / 13Exp. 7 · Consolidación 15 → 1 y Salud Viva
0 / 15El Paper Técnico y cómo reproducir todo desde GitHub
Todo lo que leíste en esta página está versionado, testeado y enlazado en el repositorio canónico crisolabs/agy-harness.
No tenés que creerle a ningún resumen: podés correr los 7 experimentos vos mismo en 25 segundos.
cd /home/luis/personal/tools/agy-harness
python3 benchmarks/run_benchmarks.py
python3 -m pytest tests/unified -q
python3 -m agyh.repo_lint . --json