# Falcon3

## Resumen

[Falcon3](https://falconllm.tii.ae/falcon3/index.html) representa una evolución natural de las versiones anteriores, con un énfasis en ampliar las capacidades de ciencia, matemáticas y código de los modelos. Esta iteración incluye cinco modelos base: Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base y Falcon3-10B-Base. En el desarrollo de estos modelos, incorporamos varias innovaciones clave orientadas a mejorar el rendimiento de los modelos y reducir los costos de entrenamiento:

Un solo preentrenamiento: realizamos una única ejecución de preentrenamiento a gran escala en el modelo de 7B, utilizando 2048 chips de GPU H100 y aprovechando 14 billones de tokens que incluyen datos de la web, código, STEM y datos multilingües de alta calidad seleccionados. Escalado de profundidad para mejorar el razonamiento: basándonos en estudios recientes sobre los efectos de la profundidad del modelo, escalamos el modelo de 7B a un modelo de 10B de parámetros duplicando las capas redundantes y continuando el preentrenamiento con 2TT de datos de alta calidad. Esto dio lugar a Falcon3-10B-Base, que logra un rendimiento zero-shot y few-shot de última generación para modelos con menos de 13B de parámetros. Destilación de conocimiento para mejores modelos pequeños: para ofrecer alternativas compactas y eficientes, desarrollamos Falcon3-1B-Base y Falcon3-3B-Base aprovechando técnicas de poda y destilación de conocimiento, utilizando menos de 100GT de datos de alta calidad seleccionados, redefiniendo así la eficiencia del preentrenamiento.

## Recursos

- [Publicación en el blog](https://huggingface.co/blog/falcon3)
- [Modelos en Huggingface](https://huggingface.co/collections/tiiuae/falcon3-67605ae03578be86e4e87026)