Transformer approaches on hyper-parameter optimization and anomaly detection with applications in stream tuning

Abstract

Hyper-parameter Optimisation consists of finding the parameters that maximise a model’s performance. However, this mainly concerns processes in which the model shouldn’t change over time. Hence, how should an online model be optimised? For this, we pose the following research question: How and when should the model be optimised? For the optimisation part, we explore the transformer architecture as a function mapping data statistics into model parameters, by means of graph attention layers, together with reinforcement learning approaches, achieving state of the art results. On the other hand, in order to detect when the model should be optimised, we use the transformer architecture to empower already existing anomaly detection methods, in this case, the Variational Auto Encoder. Finally, we join these developed methods in a framework capable of deciding when an optimisation should take part and how to do it, aiding the stream tuning process; Sumário: Abordagens de Transformer em Optimização de Hiper-Parâmetros e Deteção de Anomalias com Aplicações em Stream Tuning Optimização de hiper parâmetros consiste em encontrar os parâmetros que maximizam a performance de um modelo. Contudo, maioritariamente, isto diz respeito a processos em que o modelo não muda ao longo do tempo. Assim, como deve um modelo online ser optimizado? Para este fim, colocamos a seguinte pergunta: Como e quando deve ser o modelo optimizado? Para a fase de optimização, exploramos a arquitectura de transformador, como uma função que mapeia estatísticas sobre dados para parâmetros de modelos, utilizando atenção de grafos junto de abordagens de aprendizagem por reforço, alcançando resultados de estado da arte. Por outro lado, para detectar quando o modelo deve ser optimizado, utilizamos a arquitectura de transformador, reforçando abordagens de detecção de anomalias já existentes, o Variational Auto Encoder. Finalmente, juntamos os métodos desenvolvidos numa framework capaz de decidir quando se deve realizar uma optimização e como o fazer, auxiliando o processo de tuning em stream.