Contexto y explicacion
Un nuevo paper propone la Decodificación Especulativa Especulativa (SSD), una evolución de la técnica que permite a los modelos de lenguaje generar respuestas mucho más rápido sin sacrificar calidad.
Este mapa conceptual explica cómo funciona: un modelo pequeño y rápido genera borradores de tokens que un modelo grande verifica en paralelo. La nueva variante añade una capa adicional de especulación, logrando aceleraciones de hasta 3-5x en la generación de texto.
FAQ
Un modelo pequeño genera varios tokens candidatos rápidamente, y el modelo grande los verifica todos a la vez. Si coinciden, se ahorran pasos. Si no, se corrigen. Matemáticamente produce la misma distribución que la generación normal.
La velocidad de respuesta es clave para la experiencia de usuario. Esta técnica puede hacer que ChatGPT o Claude respondan 3-5 veces más rápido sin necesitar hardware adicional.