Cuando trabajamos con un dataset podemos encontrarnos con variables que contienen información muy parecida. Por ejemplo, si tenemos el radio, el perímetro y el área de un objeto, es razonable esperar que exista una relación muy fuerte entre estas tres medidas. Cuando varias variables predictoras están fuertemente relacionadas entre sí hablamos de multicolinealidad. Esto puede […]
Etiqueta: Machine learning
Codificar categorías de alta cardinalidad sin morir en el intento
Cuando una variable categórica tiene muchísimas categorías (códigos de cliente, ciudades, SKU…), el One-Hot Encoding tradicional explota el número de columnas, consume memoria y puede sobre ajustar. En este post vemos tres enfoques prácticos para tratar la alta cardinalidad sin perder el control: 0- Dataset de ejemplo Como ejemplo, usaremos un dataset ficticio con una […]
Ejemplo de uso de un Mapa Auto-Organizado (SOM) de Kohonen en R
Los Mapas Auto-Organizados (con las siglas SOM en inglés) son un tipo de red neuronal entrenada como aprendizaje no supervisado, de forma que se modifican repetidamente los pesos de dicha red en respuesta a patrones de activación hasta que una configuración final queda desarrollada. El modelo, creado por Teuvo Kohonen en 1982, consiste en establecer […]
Ejemplo de clustering con k-means en Python
Sin duda k-means es uno de los algoritmos de aprendizaje automático no supervisado más popular. El objetivo de k-means es simple: agrupa puntos de datos similares con el objetivo de descubrir patrones subyacentes. Para lograr este objetivo, k-means busca un número fijo (k) de agrupamientos (clústers) en el conjunto de datos . 1. Funcionamiento básico […]
Parametrización automática de DBSCAN en R a partir de la curva elbow
En el anterior post titulado Ejemplo de uso de DBSCAN en Python para eliminación de outliers se vio cómo ejecutar un algoritmo DBSCAN para detección de outliers en Python; sus parámetros se eligieron de forma más o menos visual a partir de la nube de puntos y de la curva elbow. El problema que esto […]
Ejemplo de uso de DBSCAN en Python para eliminación de outliers
Dentro de los algoritmos de clustering de aprendizaje no supervisado, uno de los más interesantes -y quizás no tan conocido- es DBSCAN, un algoritmo de agrupamiento basado en la densidad, que modela los clústers como cúmulos de alta densidad de puntos. Por lo cual, si un punto pertenece o no a un clúster, debe estar […]
El proceso KDD para extraer conocimiento útil de volúmenes de datos
La forma tradicional de convertir datos en conocimiento se basa en el análisis y en la interpretación manual, como por ejemplo el análisis de expertos buscando tendencias y puntos de inflexión de los datos. Este análisis manual de los datos es lento, costoso y tiene un alto grado de subjetividad. E incluso se vuelve impracticable […]
Definiciones relacionadas con el Big Data
Data Analytics: Data Analytics (DA) o análisis de datos, es el proceso de examinar conjuntos de datos para extraer conclusiones sobre la información que contienen, cada vez más con la ayuda de sistemas y software especializados. – «Data Science and Data Scientist» de Alex Liu (2015) Data Science: Es un campo interdisciplinario sobre procesos y sistemas […]