Vía infoQ descubro una presentación de Jeff Dean, empleado de Google, en la que trata el tema de la escalabilidad del aplicaciones. Según Jeff, Google se basa en tres pilares para la escalabilidad de sus aplicaciones:
- Google File System, un sistema de ficheros distribuido que trabaja con capacidades de hasta cinco petabytes de datos y es capaz de obtener velocidades de lectura y escritura de hasta 40 gigabytes por segundo.
- MapReduce, un framework que permite a los programadores desarrollar aplicaciones escalables sin tener que preocuparse en los detalles del trabajo paralelo.
- BigTable, una multi-capa de datos estructurados con una cierta similitud con una base de datos, pero con terabytes de memoria, capacidad de almacenar petabytes de información y realizar varios millones de lecturas y escrituras de datos por segundo.
Aunque todos estos productos no estén disponibles para usarlo fuera de Google, siempre es interesante saber como gestiona una empresa como Google el problema de la escalabilidad.