Amazon Web Services ha anunciado el lanzamiento de una nueva característica en Amazon Bedrock denominada «Model Distillation», que promete ofrecer a las empresas modelos de inteligencia artificial (IA) más eficientes y rentables sin sacrificar precisión. Esta innovación se enfoca en el uso de modelos más pequeños, rápidos y específicos para casos de uso, logrando una precisión comparable a los modelos más avanzados de Amazon Bedrock.
El proceso de destilación de modelos implica una transferencia de conocimiento de un modelo más avanzado —llamado «maestro»— a un modelo más pequeño denominado «estudiante». Este último, al tener un tamaño reducido, garantiza rapidez y eficiencia en costos, mientras logra rendir al nivel del primero en aplicaciones específicas. Para realizar esta transferencia, los comandos personalizados para el caso de uso generan respuestas del modelo maestro. Estas respuestas sirven para ajustar finamente al modelo estudiante.
Amazon Bedrock, la plataforma detrás de esta nueva característica, ofrece una serie de modelos fundacionales de alta calidad y herramientas para desarrollar aplicaciones de IA generativa, priorizando la seguridad, privacidad y responsabilidad en IA. Con la destilación de modelos, Amazon Bedrock permite a los usuarios personalizar modelos para sus necesidades específicas utilizando datos sintéticos generados por modelos avanzados. En esta etapa preliminar, la función brinda soporte para tres proveedores de modelos: Amazon, Anthropic y Meta, donde tanto el modelo maestro como el estudiante deben pertenecer al mismo proveedor.
Entre los beneficios clave de esta característica se incluyen la eficiencia, optimización de costos, personalización avanzada y facilidad de uso. Los modelos destilados ofrecen una precisión específica para los casos de uso a la par con los modelos más capaces, pero siendo tan rápidos como los modelos más pequeños. El proceso es más económico en términos de inferencia respecto a los modelos grandes y complejos. Además, Amazon Bedrock automatiza la creación de conjuntos de datos de entrenamiento de alta calidad sin la necesidad de etiquetarlos manualmente.
Los casos de uso de esta función son variados y traen consigo un impacto significativo en varias aplicaciones. Por ejemplo, en generación de búsqueda aumentada (RAG), se facilita la implementación de sistemas de búsqueda y recuperación de conocimiento a gran escala; en la automatización de resúmenes documentales, se permite procesar grandes cantidades de contenido empresarial en tiempo real; en chatbots, se potencia la atención al cliente con miles de conversaciones simultáneas en tiempo real a costos operativos más bajos; y en la clasificación de texto, se construyen modelos más veloces para categorizar grandes volúmenes de tickets de soporte o retroalimentación del cliente a escala.
El flujo de trabajo abarca varios pasos, desde seleccionar los modelos adecuados considerando el rendimiento, latencia y costo, hasta configurar los datos de entrada para la destilación. Una vez implementados y evaluados los modelos destilados, se puede adquirir capacidad de procesamiento personalizada, aprovechando las capacidades mejoradas y especializadas del modelo.
Con Amazon Bedrock Model Distillation, las empresas pueden explotar el poder de los modelos fundacionales mientras optimizan la latencia, costos y recursos, impulsando la innovación en IA en industrias como servicios financieros, moderación de contenido, salud y atención al cliente. Esta iniciativa representa un paso importante hacia soluciones de IA más accesibles y personalizadas para diversos sectores, invitando a las organizaciones a explorar nuevas oportunidades de innovación centradas en la eficiencia.
vía: AWS machine learning blog
