Adaptive Gradient (AdaGrad) Algorithm

AdaGrad wurde 2011 von Duchi, Hazan und Singer veröffentlicht und löste ein Problem klassischer Gradientenabstiegs-Verfahren: Eine einheitliche Lernrate für alle Parameter passt selten zu allen gleichzeitig. Manche Parameter brauchen schnelle Anpassung, andere langsame. AdaGrad führte parameter-spezifische Lernraten ein, die sich automatisch aus der bisherigen Gradient-Historie ableiten.

Das Verfahren hat Stärken und Schwächen. Stark ist es bei spärlichen Daten (z. B. NLP-Anwendungen mit vielen seltenen Wörtern), schwach bei langen Trainingsläufen, weil die Lernrate monoton abnimmt und das Modell irgendwann nicht mehr lernt. Moderne Weiterentwicklungen wie RMSProp und Adam adressieren diese Schwäche.

Für Pimcore-Anwender ist AdaGrad als technisches Konzept relevant, weil moderne Optimizer in fast allen KI-Funktionen der Plattform dahinter stehen. Ob KI-gestützte Produktklassifizierung, automatische Bilderkennung oder Anreicherungs-Workflows, im Hintergrund arbeiten optimierte Lern-Algorithmen, deren Wurzeln in AdaGrad und verwandten Verfahren liegen.