Apache Spark está escrito en lenguaje de programación Scala. Para admitir la programación Python con Spark, la comunidad Apache Spark lanzó la herramienta PySpark. Esta herramienta interactiva puede trabajar con RDD (los datasets distribuidos de Spark) en el lenguaje de programación Python. Quizás te interese seguir antes el siguiente post: Instalación paso a paso de […]
Categoría: Métodos para extracción procesamiento y almacenamiento de datos masivos desde Internet
Instalación paso a paso de Spark en Linux y ejecución de PySpark
Esta es una guía sencilla, que explica paso a paso cómo instalar y ejecutar Apache Spark en una máquina Linux. Para el ejemplo utilizaremos la distribución CentOS pero los pasos dados también son válidos para Ubuntu o Linux Mint. En primer lugar debemos instalar Scala, ya que Spark está implementado en dicho lenguaje de programación y lo necesita para […]
Cinco comandos de depuración de código para Hadoop Map Reduce
Se listan algunos comandos interesantes de Hadoop Map Reduce para obtener resultados intermedios y poder depurar nuestro código para evitar errores: Salida de los mappers: Entrada de los combiners: Salida de los combiners: Entrada de los reducers: Salida del reducer tras ejecutar un combiner: Para saber más:Mordiendo Hadoop: Instalación y primeras pruebas.Ejemplo WordCount y primeros […]
Creación y ejecución de un programa Python para Hadoop Map Reduce en Linux
Vamos a ejecutar un sencillo programa Python en Hadoop Map Reduce. El programa va a calcular la temperatura máxima de cada año a partir de un registro histórico. Para el ejemplo usaremos CentOS aunque es válido para cualquier otra distribución de Linux. Si no tienes aún instalado Hadoop quizás te interese el siguiente post: Instalación […]
Instalación paso a paso de Hadoop en Linux y un ejemplo de uso
Esta es una guía sencilla, que explica paso a paso como instalar y ejecutar Hadoop en una máquina Linux. Si ya tienes instalado Hadoop, quizás te interese: Creación y ejecución de un programa Python para Hadoop Map Reduce en Linux En primer lugar instalamos Java, ya que Hadoop se ejecuta sobre este lenguaje. Para el […]
¿Cuál es la Web del futuro? Linked Data y Linked Open Data
Hace 25 años el inglés Tim Berners-Lee con la ayuda del belga Robert Cailliau desarrollaron las ideas fundamentales que estructuran la web. Crearon lo que se denomina Lenguaje HTML (HyperText Markup Language), el protocolo HTTP (HyperText Transfer Protocol) y el sistema de localización de objetos en la web URL (Uniform Resource Locator). Los documentos e información disponibles hasta ese momento estaban en diferentes […]