M. Navarro García, V. Guerrero, M. Durbán, A. del Cerro

Sparse feature selection is an active research topic in supervised learning frameworks, which strives to build interpretable models without sacrificing accuracy. Especially in the high-dimensional regime, it is desirable to assume that the true active set is sparse. In this work, we address the best subset selection problem in a general setting where the variables may enter the model as linear and/or non-linear. The regression model is stated as a mixed integer quadratic optimization (MIQP) problem, and we propose a matheuristic approach based on the Akaike Information Criterion of the smooth components. In addition, we introduced a general framework based on the group lasso algorithm that provides solutions which significantly improve the performance of the MIQP model in terms of the sizes of the problems to be handled. Our approach is compared with other state-of-the-art methodologies, proving to be competitive in terms of predictive power both in synthetic and real-world data sets.

Palabras clave: Feature selection, Additive models, Mixed-integer programming

Programado

GT03.AMC1 Aprendizaje Automático
7 de noviembre de 2023  18:40
CC2: Sala Conferencias


Otros trabajos en la misma sesión

Machine-Learning-aided Optimal Transmission Switching

S. Pineda, J. M. Morales, A. Jiménez Cordero

Using interpretability methods to determine when a neural network learns variable interactions

P. Morala Miguélez, J. A. Cifuentes Quintero, R. E. Lillo Rodríguez, I. Úcar Marqués


Política de cookies

Usamos cookies solamente para poder idenfiticarte y autenticarte dentro del sitio web. Son necesarias para el correcto funcionamiento del mismo y por tanto no pueden ser desactivadas. Si continúas navegando estás dando tu consentimiento para su aceptación, así como la de nuestra Política de Privacidad.

Adicionalmente, utilizamos Google Analytics para analizar el tráfico del sitio web. Ellos almacenan cookies también, y puedes aceptarlas o rechazarlas en los botones de más abajo.

Aquí puedes ver más detalles de nuestra Política de Cookies y nuestra Política de Privacidad.