Saltar al contenido
ai-agent.review — AI Agent Reviews, inicio
← Todas las noticias

Investigación

Cisco amplía FAITH para evaluar el uso de herramientas por parte de agentes y sus hallazgos de vulnerabilidades

Declarado por el proveedorComprobado: [release]

Atribución editorial: Gosia Madej

Preparado con ayuda de IA. La atribución editorial no implica que se hayan probado personalmente los productos ni revisado manualmente todas las noticias.

Publicado: · Fecha del acontecimiento:

Cisco anunció Agentic FAITH el 23 de octubre. Su primer benchmark integrado para agentes, VulnLoc, comprueba tanto la identificación de archivos vulnerables como la ausencia de falsas alarmas después de aplicar un parche. Los registros de ejecución ayudan a distinguir un resultado negativo completado de una ejecución fallida o inconclusa.

Declarado por el proveedorComprobado: [release]

Qué cambia para los usuarios

Los equipos que evalúan agentes que usan herramientas deberían revisar el registro guardado y el estado de finalización junto con la puntuación. Una salida limpia del comando, una respuesta vacía y la ausencia verificada de una vulnerabilidad son resultados distintos. Los equipos que evalúan agentes de soporte necesitarían definir y calificar sus propias tareas; este benchmark de seguridad no mide la resolución de consultas de soporte.

Evaluación editorialComprobado: [release][quickstart]

Una lupa reposa entre dos bandejas de archivos, y un marcador de latón conserva la ruta inspeccionada.
Ilustración editorial asistida por IA sobre la inspección de un hallazgo y su registro; no representa una interfaz de Cisco, un resultado del benchmark ni una implementación probada. · AI-assisted original vector illustration for AI Agent Reviews

La ampliación incorpora tareas de varios pasos que usan herramientas al flujo de evaluación de ciberseguridad existente de FAITH. Registra conversaciones, llamadas a herramientas y sus respuestas, respuestas enviadas, errores y el motivo por el que se detuvo una tarea. Los puntos de control de las tareas completadas pueden facilitar la recuperación si su almacenamiento sigue disponible.

Declarado por el proveedorComprobado: [release]

VulnLoc prueba instantáneas de un repositorio anteriores y posteriores a una corrección de seguridad. La fase A compara el conjunto de archivos seleccionados con los archivos que se esperaba que estuvieran afectados. La fase B mide los resultados negativos correctos en el código parcheado. Esto es localización de vulnerabilidades, no un servicio de aplicación automática de parches.

Declarado por el proveedorComprobado: [release][benchmark]

La guía de inicio rápido exige un espacio de trabajo de solo lectura para ambas fases. Su prueba rápida con Docker ejecuta comandos de terminal localmente mientras el modelo se ejecuta de forma remota; una sola tarea de muestra aún puede generar varias solicitudes facturables. Ejecutar query produce registros, pero la calificación y el resumen son pasos separados.

Declarado por el proveedorComprobado: [quickstart]

Contrastado con las fuentes

Verificación de fuentes asistida por IA

Cómo se verificó

La revisión asistida por IA consultó el anuncio completo y fechado de Cisco, la descripción del benchmark enlazada, el README de FAITH y la guía de inicio rápido. Verificó las dos fases, los registros de ejecución, el requisito de solo lectura y la advertencia sobre facturación.

Evaluación editorialComprobado: [release][benchmark][quickstart][repo]

Estas son publicaciones de Cisco, no evaluaciones independientes. Aquí no se ejecutó ningún benchmark, contenedor ni solicitud al modelo. No se reproduce ningún resultado de una tabla de clasificación, y la documentación no demuestra la calidad de la atención al cliente ni certifica la seguridad de un agente. No fue posible capturar una imagen de la fuente.

Evaluación editorialComprobado: [release][benchmark][quickstart]

Evidencia de las fuentes

Fragmento de la fuente original. Esto muestra lo que afirma la fuente, pero no demuestra el rendimiento del producto.

a successful command exit is not sufficient validation.

Leer la fuente original [quickstart]

Fuentes