por Bill Kahn, vicepresidente senior, ejecutivo de modelado de riesgos - Bank of America

Bill Kahn dirige el grupo de modelado estadístico para banca de consumo en Bank of America. Su equipo construye cientos de modelos usando una amplia gama de técnicas estadísticas y de aprendizaje automático. Estos modelos ayudan a garantizar la estabilidad financiera a individuos, empresas y comunidades en todo el país. En las últimas décadas, Bill ha dirigido grupos de estadísticos en varias firmas de servicios financieros, consultoría y fabricación de los Fortune 500. Tiene una licenciatura en física y un master en estadística por la Universidad de Berkeley y su doctorado en estadística de la Universidad de Yale.

Minitab le pidió a Bill que compartiera sus ideas sobre el aprendizaje automático (Machine Learning - ML) como "una base para la acción" en el mundo de los negocios.

Algoritmos de Machine Learning (ML)

En esencia, todos los algoritmos de ML siguen el mismo proceso en dos partes. En primer lugar, una secuencia de funciones crecientemente complejas se ajusta a una parte de los datos (el conjunto de datos de entrenamiento). Luego, cada modelo en la secuencia se evalúa sobre lo bien que se ajusta sobre los datos que se extendieron (el conjunto de retención). Se selecciona el modelo con el mejor ajuste en el conjunto de retención. Existen numerosas variaciones en estos pasos, incluyendo la secuencia explorada, cómo se encuentra cada ajuste, la definición de un buen ajuste y qué selección de aleatoriedad se ha seleccionado. Y resulta que, con un par de modestas precauciones, esta secuencia simple normalmente produce buenos resultados en las predicciones de la muestra.

Las dos precauciones modestas

Primero, necesitamos usar la función de pérdidas correcta para ajustar y evaluar los modelos. Si la función de pérdida no se especifica adecuadamente, todos los algoritmos de aprendizaje automático pueden producir una salida tonta -como clasificar a todos en el grupo predominante y, por lo tanto, fallando al hacer predicciones útiles. Necesitamos usar nuestra experiencia para seleccionar una función de pérdidas con relevancia empresarial, científica o de ingeniería.

En segundo lugar, como cada algoritmo tiene hiperparámetros (parámetros que no pueden establecerse en términos puramente conceptuales), debemos explorar un rango lo suficientemente amplio para garantizar que no estamos utilizando un conjunto de valores malísimo, lo que llevaría a predicciones inaceptablemente débiles.

Prediciendo el futuro

Sin embargo, aunque el aprendizaje automático produzca buenos resultados dentro de las predicciones de la muestra, eso no es lo que necesitamos. Necesitamos buenas predicciones fuera de la muestra. Este salto, de la experiencia pasada al comportamiento futuro, es grande y requiere consideraciones adicionales impulsadas por principios estadísticos básicos. Estas consideraciones incluyen: seleccionar el problema correcto, seleccionar variables dependientes significativas, llamar al sesgo de datos subyacente, comprender la jerarquía y la dependencia entre las observaciones, y construir la secuencia correcta de modelos. Ninguno de estos requisitos es exclusivo de ML; todos son esenciales para que cualquier análisis estadístico sea confiable.

Y finalmente, lo mejor que cualquier modelo puede hacer es extraer la información que realmente está en los datos. Para tener valor, en primer lugar, debe haber información en los datos. Para garantizar que nuestros datos tengan información valiosa, el diseño experimental importa en los modelos de ML, así como también para cualquier otro modelo predictivo. Una vez que uno ha ejecutado un diseño bien estructurado, ahora puede construir un modelo ML y puntuar cada observación para cada combinación posible de variables controlables. Aprendemos la mejor manera de establecer cada entrada controlable (por ejemplo, punto de precio o canal de comercialización o temperatura o velocidad) para producir el mejor resultado para cada entrada.

Este enfoque aprovecha al máximo lo que sabemos, pero tiene una desventaja significativa para cualquier sistema cuyo verdadero estado evolucione. La mejor configuración de los factores de control se deriva cuando el entorno exógeno se desplaza (como la evolución de la calidad de la materia prima, las compensaciones del consumidor o la respuesta de la competencia). Si siempre hacemos una única asignación óptima para cualquier entrada particular, confundiremos lo que observamos con lo que hacemos. Esto hace que construir un modelo nuevo y mejorado sea imposible. Los diseños experimentales más nuevos, como el muestreo de Thompson, resuelven este problema al desafiar continuamente nuestras creencias actuales. Estos diseños nos permiten lograr un equilibrio óptimo entre hacer dinero ahora y aprender lo que necesitamos para poder ganar dinero en el futuro también.

ML es una poderosa adición al conjunto de herramientas del profesional. Con algunas precauciones básicas, que nos permiten evitar lo tonto y lo horrible, y en combinación con el conjunto completo de habilidades estadísticas clásicas, ML nos ayuda a ser estadísticos cada vez mejores.