Autoencoder polinomial bate PCA la transformarea embeddings-urilor

Ați încercat vreodată să înghesuiți un embedding multidimensional de la BERT într-un plan bidimensional pentru a face o diagramă frumoasă? Dacă da, știți că PCA e ca un briceag elvețian: funcționează, dar nu perfect. Și iată că cercetătorii au inventat un nou truc — autoencoderul polinomial.

Ideea e simplă: în loc de o transformare liniară (ca la PCA), se folosesc straturi polinomiale în autoencoder. Asta permite captarea dependențelor neliniare din date. Rezultatul — o compresie mai precisă a embeddings-urilor din transformere, mai ales când dimensionalitatea spațiului original este mare (și este, vai, cât de mare).

Desigur, există un nuanță: autoencoderul polinomial se antrenează mai mult decât PCA, care doar calculează niște vectori proprii. În schimb, pe sarcinile de test (de exemplu, vizualizare sau clustering) arată metrici mai bune. Așa că dacă aveți timp să așteptați — puteți obține o imagine care să le lase colegilor gura căscată.

Comentariul studioului METABYTE: Și nouă ne place când modelul funcționează mai bine, dar dacă autoencoderul vostru se antrenează mai mult decât durează un sprint, poate ar trebui să ne sunați. Știm să accelerăm rețelele neuronale fără pierderi de calitate (și fără șamanisme polinomiale).