EXPERIENCIAS REALES EN MACHINE LEARNING: CÓMO INTERPRETAR  MODELOS DE CAJA NEGRA PARA CREDIT SCORE

EXPERIENCIAS REALES EN MACHINE LEARNING: CÓMO INTERPRETAR MODELOS DE CAJA NEGRA PARA CREDIT SCORE

feb´22 Rosana Ferrero 4 comentarios

¿Quieres conocer cómo el Machine Learning puede ayudar a predecir el incumplimiento crediticio de un banco por medio de modelos de Black Box?

Descubre ejemplos reales de analítica aplicada de la mano de nuestros alumnos y cómo Máxima Formación les ha ayudado en este proceso. 

En el post de hoy, te enseñamos el TFM del Máster de Machine Learning de Macarena del Pino, Senior Consultant en Deloitte Chile, lidera proyectos de Riesgo Financiero, contemplando el modelado y validación de Riesgo Crédito, Riesgo de Mercado, Model Risk Management, Stress Test, bajo normativa Chilena y estándar internacional IFRS9. Macarena tiene 13 años de Experiencia profesional en industrias tales como Banca, Telecomunicaciones, Farmacia y Consultoría.

En su TFM Macarena nos muestra cómo los modelos de Black Box mejoran los resultados de los algoritmos tradicionales en problemas de Credit Score y, además, nos explica cómo interpretar los resultados por medio de la metodología LIME.

Perfil de LinkedIn

El objetivo de Macarena fue encontrar un modelo de Credit Score con Machine Learning (modelos de caja negra) que mejore el desempeño respecto del uso de metodologías clásicas, pudiendo realizar la interpretación de los atributos que determinan el incumplimiento crediticio.

En Chile existe una limitación normativa[1] para el uso de modelos de Machine Learning en problemas de credit score. Estos modelos suelen mejorar el rendimiento en la clasificación de clientes u operaciones, pero no permiten conocer los atributos que influyen en el incumplimiento crediticio.Para el modelado, y a través del análisis de una base de una entidad financiera chilena, ha utilizado metodologías de Machine learning de fácil interpretación, tal como la Regresión Logística, Regresión Lasso y Árboles de clasificación, además de otras metodologías de caja negra, como XGboost, Random Forest y Neural Networks, con distintas configuraciones para los hiperparámetros y por medio de R Software, utilizando para la evaluación y comparación, las métricas AUC y KS. El resultado indicó que el uso de modelos de caja negra obtuvieron mejores resultados en todas sus métricas, por lo que el desafío fue poder realizar la interpretación de parámetros. Para ello, se utilizó la metodología LIME ("local interpretable model-agnostic explanations", por su sigla en inglés), la cual corresponde a un tipo de modelos sustitutos que se entrenan para aproximarse a las predicciones de un modelo de caja negra subyacente [ https://christophm.github.io/interpretable-ml-book/], con el objeto de explicar predicciones individuales por medio de visualizaciones. Con la interpretación de parámetros se abre un espacio de romper el paradigma en la utilización de Modelos de Machine Learning clásicos para resolver problemas de clasificación crediticia, dando paso a la utilización de modelos sofisticados, aumentando los niveles de discriminación, predicción e interpretación. 

 

Quiero empezar el "Máster en Machine Learning con R" hoy mismo

Cabecera de Máster
 

Como conclusión, Macarena pudo demostrar por medio de la interpretación local de algunos casos seleccionados aleatoriamente, llegando a la misma clasificación real de los clientes y obteniendo resultados con una buena estimación, logrando responder la pregunta de investigación. 

El TFM es una oportunidad excelente para demostrar que cuentas con habilidades avanzadas en adquisición, preparación, visualización, programación, modelado, evaluación e interpretación de datos para resolver problemas de Machine Learning con aplicación a cualquier rama de conocimiento.

Y si te gustó conocer este emprendimiento, comenta y comparte la publicación. ¡Nos encantaría conocer tu opinión!

Puedes descargar el TFM de Macarena del Pilar Pino debajo.

Artículo escrito por Nacho García.

Animación
 
 

[1] En Chile, la Comisión para Mercado Financiero establece que, para la estimación del incumplimiento crediticio, "Cada calificación dentro de una escala de riesgo se define mediante una descripción detallada de los criterios y atributos utilizados para encasillar a los deudores. Esos criterios o atributos explican la discriminación de riesgo contenida en cada calificación." (CMF, 2019, Capítulo B-1, Anexo N°1, Hoja 3) [https://www.cmfchile.cl/portal/principal/613/articles-29177_doc_pdf.pdf].

 

Puedes descargar el TFM de Macarena Pino debajo.

4 comentarios

Acepto la política de privacidad

¹ Todos los campos son obligatorios.
² Tu correo electrónico no será publicado.

  • ¡Felicitaciones Macarena Del Pilar Pino Montoya, se nota su esfuerzo y dedicación, siga así!

    Responder

    Boris Aracena 3 de febrero de 2022, 03:27

  • Maravilloso trabajo!! Una gran contribución

    Responder

    Nicole 3 de febrero de 2022, 13:26

  • Excelente trabajo y excelente profesional. La tesis sigue una metodología rigurosa con respecto al proceso de desarrollo de un score de crédito ocupando técnicas de ML como punta de lanza. Felicitaciones y gracias por compartir.

    Responder

    boris diaz castro 7 de febrero de 2022, 16:48

    • ¡Gracias por tu comentario Boris! La verdad es que nuestros alumnos no dejan de sorprendernos, y Macarena ha estado genial en el Máster. El TFM es una excelente oportunidad para sacar adelante tus proyectos de la mano de un coach experto, y dar a conocer tu trabajo aplicando realmente lo que has aprendido.

      Responder

      Rosana Ferrero 16 de febrero de 2022, 11:40

Te llamamos

Introduce los siguientes datos y nos pondremos en contacto contigo para atender tus dudas sin compromiso.

Te llamamos

Muchas gracias por solicitar información.
Te contactaremos lo antes posible.

Diseño web: Albin Soft.