Pautas para aplicar la normalización
Escalamiento mín.-máx.: La escalabilidad mín.-máx. es adecuada para algoritmos que requieren que las funciones de entrada estén dentro de un rango específico, como redes neuronales y máquinas de vectores de soporte. Asegúrese de que los valores atípicos se manejen de manera adecuada, ya que pueden afectar la escalabilidad.
Normalización del puntaje Z: Esto es adecuado para algoritmos como la agrupación de medias k, la regresión lineal y la regresión logística. Da como resultado una distribución centrada alrededor de 0 con una desviación estándar de 1, lo que la hace ideal para algoritmos que asumen datos distribuidos normalmente.
Datos dispersos: Para conjuntos de datos dispersos (donde la mayoría de los valores son cero), considere usar técnicas como MaxAbsScaler o RobustScaler para la normalización.
Datos categóricos: Para las características categóricas, considere técnicas como la codificación en un solo punto antes de la normalización para garantizar una escalabilidad significativa.
Es importante tener en cuenta que la elección de la técnica de normalización depende de las características específicas de sus datos y de los requisitos del algoritmo de aprendizaje automático que planea usar. La experimentación y la comprensión del impacto en el rendimiento del modelo son aspectos clave de la aplicación efectiva de la normalización.
3. Escalamiento de funciones
El escalamiento de características es una técnica de preprocesamiento de datos que se utiliza para estandarizar el rango de variables independientes o características de un conjunto de datos. El objetivo del escalamiento de características es llevar todas las características a una escala o rango similar para evitar que una característica domine sobre otras durante la capacitación o el análisis del modelo. El escalamiento de funciones puede mejorar la velocidad de convergencia de los algoritmos de optimización y evitar que ciertas funciones tengan una influencia indebida en el modelo.
Función del escalamiento de características en el preprocesamiento de datos
Las funciones de escalamiento garantizan que los algoritmos de ML traten todas las funciones por igual, lo que evita el sesgo hacia las funciones con escalas más grandes. También mejora las convergencias, ya que muchos algoritmos de optimización (p. ej., descenso de gradiente) convergen más rápido cuando se escalan las características, lo que lleva a un entrenamiento más rápido del modelo. También puede evitar problemas de inestabilidad numérica que puedan surgir debido a grandes diferencias en las magnitudes de las características. Y, por último, el escalamiento puede facilitar la interpretación del impacto de las características en las predicciones del modelo.
Métodos de escalamiento de características
Además de la escalabilidad mín.-máx. y la normalización del puntaje Z descritas anteriormente, también hay:
MaxAbsScaler: Esto escala cada característica por su valor absoluto máximo, por lo que los valores resultantes oscilan entre -1 y 1. Es adecuado para datos dispersos en los que es importante conservar cero entradas, como en sistemas de clasificación de texto o recomendación.
RobustScaler: Esto utiliza estadísticas que son sólidas para los valores atípicos, como la mediana y el rango intercuartil (IQR), para escalar las características. Es adecuado para conjuntos de datos que contienen valores atípicos o distribuciones sesgadas.
Pautas para aplicar el escalamiento de funciones
Para aplicar el escalamiento de funciones:
- Aplique la estandarización (normalización del puntaje Z) cuando los datos sigan una distribución normal o cuando se usen algoritmos como regresión lineal, regresión logística o agrupamiento de medias k.
- Aplique la normalización (escala mín.-máx.) cuando necesite que los datos estén dentro de un rango específico, como redes neuronales o máquinas vectoriales compatibles.
- Use MaxAbsScaler cuando trate con datos dispersos, como datos de texto o características dispersas de alta dimensión.
- Use RobustScaler al tratar con conjuntos de datos que contienen valores atípicos o características que no se distribuyen normalmente.
Tenga en cuenta que es posible que las características categóricas necesiten codificación (p. ej., codificación en caliente) antes de aplicar el escalamiento de características, especialmente si son nominales (categorías no ordenadas).
4. Manejo de datos categóricos
Las variables categóricas representan grupos o categorías y a menudo son de naturaleza no numérica, lo que plantea desafíos durante la capacitación del modelo, incluidos los siguientes:
- Representación no numérica: Las variables categóricas generalmente se representan usando cadenas o etiquetas, que la mayoría de los algoritmos de aprendizaje automático no pueden procesar directamente. Los algoritmos requieren entradas numéricas para la capacitación y las predicciones.
- Variables ordinales frente a nominales: Las variables categóricas pueden ser ordinales (con un orden significativo) o nominales (sin un orden específico). Tratar las variables ordinales como nominales o viceversa puede llevar a interpretaciones incorrectas del modelo o predicciones sesgadas.
- Maldición de dimensionalidad: La codificación en un solo punto, una técnica común para el manejo de datos categóricos, puede provocar un aumento en la dimensionalidad del conjunto de datos, especialmente con una gran cantidad de categorías únicas. Esto puede afectar el rendimiento del modelo y aumentar la complejidad computacional.
Técnicas para codificar variables categóricas
Las técnicas para codificar variables categóricas incluyen:
Codificación de etiquetas: La codificación de etiquetas asigna una etiqueta numérica única a cada categoría en una variable categórica. Es adecuado para variables ordinales donde hay un orden significativo entre las categorías.
Este es un ejemplo de cómo usar scikit-learn de Python:
desde sklearn.preprocesamiento importación LabelEncoder
le = LabelEncoder()
etiquetas_codificadas = le.fit_transform(['cat', 'perro', 'conejo', 'perro'])
Codificación en un solo punto: La codificación en caliente crea columnas binarias para cada categoría en una variable categórica, donde cada columna indica la presencia o ausencia de esa categoría. Es adecuado para variables nominales sin un orden específico entre categorías.
Este es un ejemplo usando pandas:
importar pandas como pd
df = pd.DataFrame({'category': ['A', 'B', 'C', 'A']})
one_hot_encoded = pd.get_dummies(df['category'], prefijo='category')
Codificación simulada: La codificación simulada es similar a la codificación de un solo uso, pero descarta una de las columnas binarias para evitar problemas de multicolinealidad en modelos lineales. Se utiliza comúnmente en modelos de regresión en los que una categoría sirve como categoría de referencia.
Este es un ejemplo usando pandas:
dummy_encoded = pd.get_dummies(df['category'], prefijo='category', drop_first=True)
Pautas para el manejo de datos categóricos
Para manejar correctamente los datos categóricos, debe:
Comprender los tipos de variables: Determine si las variables categóricas son ordinales o nominales para elegir la técnica de codificación adecuada.
Evite la mala interpretación ordinal: Tenga cuidado al usar la codificación de etiquetas para variables nominales, ya que puede introducir una ordinalidad no deseada en los datos.
Lidiar con una alta cardinalidad: Para las variables categóricas con un gran número de categorías únicas, considere técnicas como codificación de frecuencia, codificación de objetivos o técnicas de reducción de dimensionalidad como PCA.
Todo esto se suma al manejo ya mencionado de los valores faltantes y la normalización de los datos numéricos.
5. Cómo lidiar con datos desequilibrados
Lidiar con los datos desequilibrados es un desafío común en el aprendizaje automático, especialmente en las tareas de clasificación en las que la cantidad de instancias en una clase (clase minoritaria) es significativamente menor que en las otras clases (clases mayoritarias). Los datos desequilibrados pueden tener un profundo impacto en la capacitación y evaluación de modelos, lo que lleva a modelos sesgados que favorecen a la clase mayoritaria y tienen un rendimiento deficiente en las clases minoritarias.
Estos son algunos puntos clave con respecto a los datos desequilibrados y las técnicas para manejarlos:
Impacto de los datos desequilibrados en el rendimiento del modelo
Los modelos capacitados en datos desequilibrados tienden a priorizar la precisión en la clase mayoritaria mientras se descuida la clase minoritaria. Esto puede llevar a un rendimiento deficiente en las predicciones de clase minoritaria. Además, las métricas como la precisión pueden ser engañosas en los conjuntos de datos desequilibrados, ya que una alta precisión puede ser el resultado de predecir correctamente la clase mayoritaria e ignorar la clase minoritaria. Las métricas de evaluación como precisión, recuperación, F1-score y área bajo la curva ROC (AUC-ROC) son más informativas para conjuntos de datos desequilibrados en comparación con la exactitud sola.
Técnicas para manejar datos desequilibrados
Las técnicas más comunes para manejar datos desequilibrados son el sobremuestreo y el submuestreo. El sobremuestreo implica aumentar la cantidad de instancias en la clase minoritaria para equilibrarla con la clase mayoritaria. El submuestreo implica reducir la cantidad de instancias en la clase mayoritaria para equilibrarla con la clase minoritaria. También puede adoptar un enfoque híbrido al combinar el sobremuestreo y el submuestreo.
También hay una ponderación de clase, en la que ajusta las ponderaciones de clase durante el entrenamiento del modelo para penalizar los errores en la clase minoritaria más que los errores en la clase mayoritaria. Esto solo es útil para algoritmos que admiten ponderación de clase, como regresión logística o máquinas de vectores de soporte.
Pautas para el manejo de datos desequilibrados
Para manejar datos desequilibrados, debe:
Comprender la distribución de datos: Analice la distribución de clases en su conjunto de datos para determinar la gravedad del desequilibrio.
Elija la técnica adecuada: Seleccione la técnica de sobremuestreo, submuestreo o híbrida según el tamaño del conjunto de datos, la relación de desequilibrio y los recursos informáticos.
Evalúe las métricas: Use métricas de evaluación adecuadas como precisión, recuerdo, F1-score o curva AUC-ROC para evaluar el rendimiento del modelo en ambas clases.
Validación cruzada: Aplique técnicas dentro de los pliegues de validación cruzada para evitar la fuga de datos y obtener estimaciones confiables del rendimiento del modelo.
Conclusiones
El preprocesamiento de datos ayuda a garantizar que los modelos de ML estén capacitados en datos de alta calidad y con el formato adecuado, lo que afecta directamente el rendimiento, la precisión y la capacidad de generalización del modelo. Al abordar problemas como valores faltantes, valores atípicos, variables categóricas y desequilibrio de clase, el procesamiento previo de datos permite a los modelos hacer predicciones más informadas y precisas, lo que conduce a una mejor toma de decisiones en aplicaciones del mundo real.
Con un preprocesamiento de datos adecuado, los profesionales de ML pueden liberar todo el potencial de sus datos y crear modelos predictivos más precisos y confiables para varias aplicaciones en todos los dominios.
Sin embargo, para hacerlo realmente en el mundo real, primero debe tener una solución de almacenamiento de datos flexible, como Pure Storage, que lo ayude a acelerar la AI y el aprendizaje automático, y a avanzar con sus iniciativas de AI empresarial.
