Self-Supervised Learning is becoming popular for improving the performance of Neural Networks on supervised Machine Learning tasks on time series. There are many auxiliary tasks that can extract the temporal, spatial or semantic information of time series to learn a better latent representation. Self-Supervised Learning as a kind of auxiliary learning method is widely used as they do not need labels for optimization. There are mainly two ways to train auxiliary tasks: pre-training and fine-tuning and joint-learning. The motivation for pre-training and fine-tuning strategy is that the weights learned by the encoder on the auxiliary task provide a warm start for the model on the downstream task and therefore improve its performance. Joint-learning aims to train the auxiliary tasks together with the downstream task and it is believed that the combination of tasks can in the end lead to a lower loss for the downstream task. Nonetheless, in some cases even though the model achieves good performance on a Self-Supervised Learning task, the downstream performance does not improve, or even get worse, so the Self-Supervised Learning tasks and the downstream tasks are not always aligned.

To address this problem, we propose a supervised clustering method that could enhance the alignment between the autoregressive Self-Supervised Learning task and downstream classification tasks. We also quantify the alignment with three transferability metrics and visualize embeddings of different auxiliary tasks through PCA and t-SNE methods. Two learning paradigms are compared in our project: the joint-learning paradigm and the pre-training and fine-tuning paradigm. The experiments in our project were done on three multivariate time series classification datasets using LSTM as the backbone, and the results show that autoregressive Self-Supervised Learning with supervised clustering aligns most with the downstream tasks in the aspect of improving the accuracy, and the pre-training strategy works better than joint-learning for such a task. The link to the code of our experiments is https://github.com/XYHZJU/SSL_alignment_for_time_series_classification.

Finally, we discuss task alignment based on the motivation of representation learning and derive the conclusion that supervised clustering is a good regularization for autoregressive Self-Supervised Learning to improve the downstream task performance.

Självledd inlärning blir alltmer populärt för att förbättra prestandan hos neurala nätverk i samband med övervakade maskininlärningsuppgifter för tidsserier. Det finns många hjälpuppgifter som kan extrahera den tidsmässiga, rumsliga eller semantiska informationen i tidsserier för att lära sig en bättre latent representation. Självledd inlärning som en typ av hjälpinlärningsmetod används ofta eftersom de inte behöver etiketter för optimering. Det finns två sätt att träna hjälpuppgifter: förträning och finjustering och gemensamt lärande. Motivationen för strategin med förträning och finjustering är att de vikter som kodaren lär sig på hjälpuppgiften ger en varm start för modellen på nedströmsuppgiften och därför förbättrar dess prestanda. Joint-learning syftar till att träna hjälpuppgifterna tillsammans med nedströmsuppgiften och det antas att kombinationen av uppgifter i slutändan kan leda till en lägre förlust för nedströmsuppgiften. I vissa fall, även om modellen uppnår bra prestanda på en självledd inlärning-uppgift, förbättras dock inte nedströmsprestandan eller till och med blir sämre, så Self-Supervised Learning-uppgifterna och nedströmsuppgifterna är inte alltid anpassade.

För att ta itu med detta problem föreslår vi en övervakad klustringsmetod som kan förbättra anpassningen mellan den autoregressiva självövervakade inlärningsuppgiften och nedströms klassificeringsuppgifter. Vi kvantifierar också anpassningen med tre överförbarhetsmått och visualiserar inbäddningar av olika hjälpuppgifter genom PCA- och t-SNE-metoder. Två inlärningsparadigm jämförs i vårt projekt: paradigmet för gemensamt lärande och paradigmet för förträning och finjustering. Experimenten i vårt projekt gjordes på tre multivariata dataset för klassificering av tidsserier med LSTM som ryggrad, och resultaten visar att autoregressivt självövervakat lärande med övervakad klustring anpassar sig mest till nedströmsuppgifterna när det gäller att förbättra noggrannheten, och förutbildningsstrategin fungerar bättre än joint-learning för en sådan uppgift.

Slutligen diskuterar vi uppgiftsinriktning baserat på motivationen för representationsinlärning och drar slutsatsen att övervakad klustring är en bra reglering för autoregressiv självövervakad inlärning för att förbättra prestandan för nedströmsuppgifter.