Automatisert hyperparameteroptimalisering

Marius Geitle presenterte en artikkel med tittelen "A New Baseline for Automated Hyper-Parameter Optimization" av Marius Geitle og Roland Olsson på LOD 2019 konferansen som fant sted 10-13 september 2019 i Siena, Italia. I artikkelen blir det presentert en ny metode som kan programmeres med bare noen få linjer kode og oppnår nesten like gode resultater som ledende og mye mer kompliserte algoritmer for å automatisk justere hyperparametre i maskinlæringsalgoritmer.

Nesten alle maskinlæringsalgoritmer inneholder to typer parametere, vanlige parametre og hyper-parametere. Mens vanlige parametere kan bli lært på en effektiv måte direkte fra datagrunnlaget algoritmene blir trent på, er man for hyperparametere begrenset til å bare velge noen verdier og sjekke hvor godt de fungerer. 

Men hvilke verdier som fungerer er ikke tilfeldig, og det er mulig å finne gode hyperparameterverdier mer effektivt ved å først teste noen tilfeldige punkter og bruke informasjonen om hvor godt de verdiene fungerte til å velge hvilke verdier som skal utforskes senere i søket. Men algoritmer for å gjøre dette blir fort veldig kompliserte og trege.

I artikkelen blir det presentert en ny algoritme hvor kjøretiden er ubetydlig for de aller fleste problemer, og hvor kompleksiteten på algoritmen er mye lavere enn ledende algoritmer på problemet. 

På grunn av den veldig lave kompleksiteten og kjøretiden kombinert med den gode søkeeffektiviteten foreslår vi denne algoritmen som ett ny grunnpunkt som alle andre slike algoritmer bør sammenlignes med.

Publisert 23. sep. 2019 07:27 - Sist endret 23. sep. 2019 07:27