Cuando una variable categórica tiene muchísimas categorías (códigos de cliente, ciudades, SKU…), el One-Hot Encoding tradicional explota el número de columnas, consume memoria y puede sobre ajustar. En este post vemos tres enfoques prácticos para tratar la alta cardinalidad sin perder el control: 0- Dataset de ejemplo Como ejemplo, usaremos un dataset ficticio con una […]
Etiqueta: Data science
El proceso KDD para extraer conocimiento útil de volúmenes de datos
La forma tradicional de convertir datos en conocimiento se basa en el análisis y en la interpretación manual, como por ejemplo el análisis de expertos buscando tendencias y puntos de inflexión de los datos. Este análisis manual de los datos es lento, costoso y tiene un alto grado de subjetividad. E incluso se vuelve impracticable […]
¿Cuál es la Web del futuro? Linked Data y Linked Open Data
Hace 25 años el inglés Tim Berners-Lee con la ayuda del belga Robert Cailliau desarrollaron las ideas fundamentales que estructuran la web. Crearon lo que se denomina Lenguaje HTML (HyperText Markup Language), el protocolo HTTP (HyperText Transfer Protocol) y el sistema de localización de objetos en la web URL (Uniform Resource Locator). Los documentos e información disponibles hasta ese momento estaban en diferentes […]
Data Scientist vs Data Engineer: ¿cuál es la diferencia?
El rol de Data Scientist (científico de datos) y el de Data Engineer (ingeniero de datos) suena a modernos puestos de trabajo, pero las funciones principales que realizan ambos han existido desde hace ya algunos años. Tradicionalmente, cualquiera que analizara datos se denominaría «analista de datos» y cualquiera que creara plataformas back-end para soportar el […]
Definiciones relacionadas con el Big Data
Data Analytics: Data Analytics (DA) o análisis de datos, es el proceso de examinar conjuntos de datos para extraer conclusiones sobre la información que contienen, cada vez más con la ayuda de sistemas y software especializados. – «Data Science and Data Scientist» de Alex Liu (2015) Data Science: Es un campo interdisciplinario sobre procesos y sistemas […]