Text embedding is a widely used method for comparing pieces of text together by mapping them to a compact vector space. One such application is deduplication which consists in finding textual records that refer to the same underlying idea in order to merge them or delete one of them. The current state of the art in this domain uses the Transformer architecture trained on a large corpus of text. In this work, we evaluate the performance of a recently proposed architecture: the Mixer. It offers two key advantages, its parameter count scale linearly with the context window and it is built of simple MLP blocks that benefit from hardware acceleration. We found a 26% increase in performance when using the Mixer compared to the Transformer for a model of similar size.

Textinbäddning är en allmänt använd metod för att jämföra textstycken med varandra genom att mappa dem till ett kompakt vektorutrymme. En sådan tillämpning är deduplicering som består i att hitta textposter som hänvisar till samma underliggande idé för att slå samman dem eller radera en av dem. Den nuvarande tekniken inom detta område använder Transformer-arkitekturen som tränats på en stor textkorpus. I detta arbete utvärderar vi prestandan hos en nyligen föreslagen arkitektur: Mixer. Den erbjuder två viktiga fördelar, dess parameterantal skalar linjärt med kontextfönstret och den är byggd av enkla MLP-block som drar nytta av hårdvaruacceleration. Vi fann en 26% ökning av prestanda när vi använde Mixer jämfört med Transformer för en modell av liknande storlek.