协作头脑风暴
brainstorming
在实现前澄清需求、探索设计选择,并形成清晰的开发方向。
test-team-coordination【开发与工程】Ejecutar un escenario de prueba contra un equipo, observando los comportamientos del patrón de coordinación, evaluando los criterios de aceptación y generando un RESULT.md estructurado. Usar al validar que el patrón de coordinación de un equipo produce los comportamientos esperados durante una tarea realista, comparar patrones de coordinación en carg…
独立 GitHub 快照 · 自动分类 · 以原作者文档为准
Ejecutar un escenario de prueba de tests/scenarios/teams/ contra el equipo
objetivo. Observar los comportamientos del patrón de coordinación, evaluar los
criterios de aceptación, puntuar el rúbrica y producir un RESULT.md en
tests/results/.
tests/scenarios/teams/test-opaque-team-cartographers-audit.md)YYYY-MM-DD-<target>-NNN generado automáticamente)1.1. Leer el archivo de escenario de prueba especificado en la entrada.
1.2. Analizar el frontmatter YAML y extraer:
target — el equipo a probarcoordination-pattern — el patrón esperadoteam-size — número de miembros a instanciar1.3. Verificar que el archivo de escenario tiene todas las secciones obligatorias:
Esperado: El archivo de escenario se carga, analiza y contiene todas las secciones obligatorias.
En caso de fallo: Si el archivo falta o no puede analizarse, abortar con un mensaje de error que identifique el archivo faltante o la sección malformada. Si faltan secciones opcionales (Rubric, Ground Truth, Variants), anotar su ausencia y continuar.
2.1. Recorrer cada casilla de precondición en el escenario.
2.2. Para las verificaciones de existencia de archivos, usar Glob para verificar.
2.3. Para las verificaciones de recuento del registro, analizar el _registry.yml relevante y comparar total_* con los recuentos reales de archivos en disco.
2.4. Para las verificaciones de estado de rama/git, ejecutar git status --porcelain y git branch --show-current.
Esperado: Se satisfacen todas las precondiciones.
En caso de fallo: Si alguna precondición falla, registrarla como BLOQUEADA en los resultados. Decidir si continuar (precondición blanda) o abortar (precondición estricta como el archivo del equipo objetivo faltante). Documentar la decisión.
3.1. Leer tests/_registry.yml y localizar la entrada coordination_patterns que coincide con el valor coordination-pattern del escenario.
3.2. Extraer la lista key_behaviors para este patrón.
3.3. Estos comportamientos se convierten en la lista de verificación de observación — cada uno debe observarse durante la ejecución y registrarse como observado/no observado.
Esperado: Los comportamientos clave del patrón cargados y listos para la observación.
En caso de fallo: Si el patrón de coordinación no está definido en el registro, usar la sección Expected Behaviors del escenario como única fuente de observación. Registrar una advertencia.
4.1. Crear el directorio de resultados: tests/results/YYYY-MM-DD-<target>-NNN/.
4.2. Registrar T0 (marca de tiempo de inicio de tarea).
4.3. Instanciar el equipo objetivo usando TeamCreate con el tamaño de equipo del escenario. Pasar el prompt de la Tarea Principal literalmente desde la sección Task del escenario.
4.4. Observar las fases de ejecución del equipo. Registrar marcas de tiempo para:
4.5. Si el escenario define un Desencadenador de Cambio de Alcance y omitir-cambio-de-alcance es false:
4.6. Continuar observando hasta que el equipo entregue su resultado.
4.7. Capturar el resultado completo del equipo.
Esperado: El equipo ejecuta la tarea a través de las fases de su patrón de coordinación. Las marcas de tiempo se registran para todas las transiciones. El cambio de alcance (si aplica) se inyecta y absorbe.
En caso de fallo: Si el equipo no produce resultados, registrar el punto de fallo y cualquier mensaje de error. Si el equipo se detiene, anotar la última fase observada y el tiempo de espera. Proceder a la evaluación con resultados parciales.
5.1. Para cada comportamiento clave del Paso 3, determinar si fue observado durante la ejecución:
5.2. Para cada comportamiento específico de la tarea de la sección Expected Behaviors del escenario, aplicar la misma evaluación.
5.3. Registrar los hallazgos en el registro de observación.
Esperado: Todos o la mayoría de los comportamientos específicos del patrón y de la tarea son observados.
En caso de fallo: Los comportamientos no observados son hallazgos, no fallos del procedimiento de prueba. Registrarlos con precisión — indican que el patrón de coordinación no se manifestó completamente.
6.1. Recorrer cada criterio de aceptación del escenario.
6.2. Para cada criterio, asignar una determinación:
6.3. Si el escenario incluye datos de Ground Truth, verificar los hallazgos reportados contra ellos:
6.4. Si el escenario incluye una Rúbrica de Puntuación, puntuar cada dimensión del 1 al 5 con breve justificación.
6.5. Calcular métricas de resumen:
Esperado: Todos los criterios de aceptación tienen una determinación. Se calculan las métricas de resumen.
En caso de fallo: Si menos de la mitad de los criterios pueden evaluarse (demasiados BLOCKED), la ejecución de la prueba es inconclusa. Documentar por qué y recomendar volver a ejecutar después de corregir las precondiciones.
7.1. Crear tests/results/YYYY-MM-DD-<target>-NNN/RESULT.md usando la Plantilla de Registro del Protocolo de Observación del escenario.
7.2. Rellenar todas las secciones:
7.3. Incluir el resultado completo del equipo como apéndice o en un archivo separado (team-output.md) en el mismo directorio de resultados.
7.4. Añadir un veredicto de resumen en la parte superior:
**Verdict**: PASS | FAIL | INCONCLUSIVE
**Score**: X/N criteria (Y/Z rubric points)
**Duration**: Xm
Esperado: RESULT.md completo con todas las secciones rellenadas y un veredicto claro.
En caso de fallo: Si el archivo de resultados no puede escribirse, imprimir los resultados en stdout como alternativa. Los datos de evaluación nunca deben perderse.
review-codebase — revisión profunda de base de código que complementa las pruebas a nivel de equiporeview-skill-format — valida el formato de habilidades individuales (esta habilidad valida la coordinación del equipo)create-team — crea definiciones de equipo que esta habilidad pruebaevolve-team — evoluciona las definiciones de equipo basándose en los hallazgos de las pruebastest-a2a-interop — patrón de pruebas similar para la conformidad del protocolo A2Aassess-form — la evaluación mórfica que usa internamente el líder del equipo opaco