Big data

Para comprender la importancia del Big Data viene bien asomarse a la historia y entender su origen y alcance. Hoy vamos a hablar de lo que no te suelen contar cuando te hablan de Big Data.

Aunque a la mayoría conceptos como datificación, Big Data, minería de datos puedan  parecerles el último grito de las tecnologías digitales, nada como conocer la historia de sus pioneros para darnos cuenta de que el intento de encontrar pautas en el tratamiento de grandes cantidades de datos viene de muy lejos, en concreto más de 150 años de antigüedad. La historia del comandante Maury, que se considera el pionero del Big Data es verdaderamente interesante, aun cuando es, literalmente… una de barcos.

Matthew Fontaine Maury era, en 1839, un oficial de la marina de los EEUU con un futuro prometedor. Nacido en 1806, culto, marinero por vocación y de espíritu científico, a sus 24 años ya había dado la vuelta al mundo. Una mala caída le fracturó el fémur y le dislocó la rodilla. La fractura no cerró bien, y con sólo 33 años fue incapacitado para navegar. Consciente de su valía a pesar de su incapacidad, la armada lo mandó a un puesto burocrático: Superintendente del Depósito de Cartas de Navegación e Instrumentos. Lejos de representar un gris retiro, el puesto resultó ser un destino perfecto para la mente inquieta de Maury. Ya desde sus inicios como suboficial le asombraba que los barcos navegaran en zigzag por el mar en vez de seguir una singladura recta que economizara tiempo. Cuando preguntaba a los capitanes la razón le contestaban que era más seguro seguir un curso conocido y familiar que arriesgarse por otro desconocido y con posibles peligros ocultos.





Descarga gratis la guía: Computación cognitiva. La nueva revolución del Big Data




Al tomar posesión de su nuevo destino, su primera misión fue inventariar los todos los instrumentos de medición (barómetros, sextantes, etc.) de la colección del depósito, así como de los cientos de cuadernos de bitácora, mapas y cartas que almacenaba. Sus más directos colaboradores sugerían que los objetos de mayor valor se conservaran o donaran a las diferentes escuelas de marina del Estado, y deshacerse del resto del inventario polvoriento que sólo ocupaba espacio en las inmensas salas del Depósito. Alguien sugirió, incluso, que se redujeran a cenizas todos los cuadernos y mapas, y utilizar estas cenizas para hacer lejía, lo que nos da cuenta de un espíritu autárquico tan loable como insensato.

Afortunadamente Maury tenía ideas propias. Sólo él, ni sus antecesores ni ninguno de sus colaboradores, fue capaz de entender la gran riqueza que esa colección albergaba. Donde los demás sólo venían papeles enmohecidos, él veía una gran cantidad de información. Desordenada, imprecisa a veces, pero en una cantidad tal que, uniendo un dato de aquí y un dato de allá, se podrían determinar localizaciones, temperaturas, corrientes a lo largo de todo el océano. Incluso teniendo en cuenta la fecha de las mediciones, trazar la evolución de las corrientes, el viento y el agua a lo largo de los meses del año. Si se recopilaban todos estos datos, sería posible crear una forma completamente nueva de carta de navegación. Más que una carta, se trataría de un mapa oceánico con medidas de temperaturas, corrientes, dirección y fuerza del viento a lo largo del año.

Maury lo tuvo muy claro: contrató a doce computers (¿computadores en el siglo XIX?, efectivamente, así se denominaba a los trabajadores encargados de tomar y calcular datos) y comenzaron a extraer, cotejar y tabular la información que contenían aquellos cuadernos de bitácora que, si bien muchos de ellos contenían información carente de interés, cuya redacción revelaba el inmenso aburrimiento de algunos capitanes, otros rebosaban de informaciones útiles. De esta forma Maury agrupó los datos y dividió el océano Atlántico en bloques de cinco grados de longitud y latitud. Anotó la temperatura, la velocidad y la dirección del viento y del oleaje en cada segmento y agrupó los datos en cada uno de los meses del año, puesto que las condiciones del océano variaban según la época del año. Una vez combinados, los datos revelaron patrones y descubrieron unas rutas más eficientes.

Maury publicó un primer tratado, llamado Direcciones de Navegación, con esta recopilación de datos y las rutas inferidas en 1845. En 1848 el capitán Jackson de la W. H. D. C. Wright fue el primero en utilizar los trabajos de Maury en un viaje de Baltimore a Río de Janeiro volviendo un mes antes de lo planeado. ¿Os imagináis la cara de asombro del Presidente de la W. H. D. C. Wright al comprobar que un simple libro le ahorraba 30 días de elevados costes de navegación en una de sus rutas comerciales? Tan solo siete años después de la primera edición de Direcciones de navegación de Maury, la industria de la navegación había ahorrado alrededor de 10 millones de dólares al año… y todo porque un hombre fue capaz de ver la importancia de unos datos donde otros sólo veían cenizas para hacer lejía.

Una vez probada la bondad de su método, Maury necesitaba más información para perfeccionarlo. Diseñó un formulario para registrar los datos que pudieran recopilar los barcos y consiguió que todos los buques de la Armada estadounidense se convirtieran en Followers (150 años antes de Facebook), cumplimentaran el formulario y lo entregaran al volver a puerto. Por supuesto, también los barcos mercantes se mostraron entusiasmados con cartas de Maury, quien, por su parte, insistía en que a cambio le entregasen también sus cuadernos de bitácora… Personas con intereses afines, intercambio de información… ¿no es el germen de una red social? Maury afirmaba que “cada barco que navega en alta mar puede ser considerado de ahora en adelante como un observatorio flotante, un templo  de la ciencia” algo que entusiasmó a los Master and Commander de la época. Para mejorar la precisión de  las cartas náuticas, buscó otros puntos de datos (igual que Google perfeccionó el algoritmo de PageRank para incluir más señales). Logró que los capitanes arrojasen al mar, a ciertos intervalos, unas botellas con notas indicando el día, la posición, el viento y la corriente dominante, y que recogieran las botellas de este tipo que se topasen.

“Hasta que seguí su trabajo, había cruzado el océano a ciegas”, le escribió un capitán, a modo de agradecimiento. En 1855, cuando publicó su obra magistral The Physical Geography of the Sea, Maury había trazado 1,2 millones de puntos de datos. Maury afirmaba que “De esta manera, el joven marino, en vez de abrirse camino a tientas hasta que lo alumbraran las luces de la experiencia encontrará aquí, de una sola vez, que ya dispone de la experiencia de un millar de navegantes para guiarlo”

Su trabajo no sólo fue fundamental para revolucionar las rutas comerciales marítimas, sino que sirvió también de gran ayuda para tender el primer cable telegráfico transoceánico. Tan convencido estaba de la eficiencia de su metodología, que la aplicó a otras áreas científicas, como la astronomía: cuando el planeta Neptuno fue descubierto en 1846, Maury tuvo (de nuevo) la genial iniciativa de estudiar los archivos astronómicos en busca de referencias que identificaran a Neptuno como una estrella o como un simple cuerpo celeste no identificado, lo que le permitió calcular su órbita.

El comandante Maury (The Pathfinder of the seas para los amigos) mostró, en suma, que existe un valor especial en una muestra de datos enorme, y que este valor no lo encontramos en cantidades de datos menores… El principio de enfoque de datos masivos. Nos muestra también cómo el empleo de datos masivos es muy anterior al auge del mundo digital, aunque exista cierta tendencia a unir un área y la otra. Y lo más asombroso de todo es que, a pesar de que su método es similar a las técnicas de datificación actuales, él las desarrolló simplemente a mano, con lápiz y papel.

Podemos extraer muchas consecuencias de esta historia, quizá sea interesante poner en valor a pioneros como Maury capaces de dar sentido al desorden y detectar pautas donde el resto sólo percibimos ruido de fondo, y cuyo método de trabajo sigue, hoy en día, ayudando a definir y ampliar nuestra forma de investigar, hacer negocios y, en suma mejorar nuestro modo de vida.





Descargar e-Book




Comentarios

Deja tu comentario: