Cinco comandos de depuración de código para Hadoop Map Reduce

Se listan algunos comandos interesantes de Hadoop Map Reduce para obtener resultados intermedios y poder depurar nuestro código para evitar errores:

  • Salida de los mappers:
cat datos.txt | python ./miMapper.py
  • Entrada de los combiners:
cat datos.txt | python ./miMapper | sort -k1,1
  • Salida de los combiners:
cat datos.txt | python ./miMapper | sort -k1,1 | python ./miCombiner.py
  • Entrada de los reducers:
cat datos.txt | python ./miMapper | sort -k1,1 | python ./miCombiner.py | sort -k1,1
  • Salida del reducer tras ejecutar un combiner:
cat datos.txt | python ./miMapper | sort -k1,1 | python ./miCombiner.py | sort -k1,1 | python ./miReducer.py
Para saber más:
Mordiendo Hadoop: Instalación y primeras pruebas.
Ejemplo WordCount y primeros ejercicios
Análisis de registros de Apache Hadoop

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Solve : *
6 + 5 =