Un reciente estudio realizado por SophosAI ha evaluado el rendimiento de modelos de lenguaje grande (LLM) para mejorar la productividad en centros de operaciones de seguridad (SOC), utilizando Amazon Bedrock y Amazon SageMaker. La investigación se centró en tareas específicas como la conversión de lenguaje natural a SQL, predicción de la severidad de incidentes y resumen de incidentes. Estas tareas fueron implementadas con Anthropic’s Claude 3 Sonnet, un modelo LLM cuyo desempeño se analizó en detalle.
En la primera tarea, el estudio exploró la capacidad de los modelos LLM para convertir comandos en lenguaje natural a consultas SQL precisas. SophosAI encontró que el modelo Claude alcanzó una precisión del 88% en sus evaluaciones, indicando que los LLM pueden asistir eficazmente a los analistas de seguridad en la extracción de información clave durante la investigación de amenazas.
La segunda tarea evaluó la habilidad de los LLM para clasificar la severidad de eventos de seguridad. El estudio señala que aunque los modelos pueden identificar patrones sospechosos, tienen dificultades para determinar la criticidad de un incidente sin entrenamiento específico en datos de ciberseguridad, con una precisión base de aproximadamente 71%.
La tercera tarea trató sobre el resumen de incidentes de seguridad, donde Claude demostró un desempeño adecuado. Sin embargo, el estudio recomienda mejorar los modelos LLM mediante afinamiento para mejores resultados, ya que tienden a omitir detalles importantes.
SophosAI señala que mientras los LLM como Claude pueden ser efectivos en tareas de ciberseguridad, requieren de ajustes finos y la implementación de barreras de seguridad para prevenir mal usos. El estudio sugiere que un modelo especializado entrenado en datos de ciberseguridad podría mejorar significativamente la evaluación precisa de incidentes.
La experimentación en Amazon Bedrock permitió a los investigadores evaluar múltiples LLMs de manera eficiente y económica, accediendo a modelos de alto rendimiento sin necesidad de desplegarlos localmente. Por otro lado, SageMaker ofreció flexibilidad para desplegar modelos personalizados, permitiendo una optimización de costos mediante puntos finales asincrónicos.
Este estudio demuestra el potencial de los LLMs en mejorar la eficiencia de análisis de amenazas en aplicaciones de ciberseguridad, aunque requiere una implementación cuidadosa y potencialmente un entrenamiento especializado para maximizar su efectividad. SophosAI planea continuar evaluando y afinando estos modelos para asegurar que cumplan con las exigencias específicas del sector.
vía: AWS machine learning blog
