Przedmiotem niniejszej pracy jest przebadanie skuteczności wybranych metod uczenia maszynowego w celu detekcji behawioralnej użytkowników stosujących niedozwolone oprogramowanie wspomagające w grze Counter-Strike 2. Proces badawczy oparto na danych telemetrycznych z rozegranych meczów na platformie FACEIT. Zaprojektowano autorski sposób przetwarzania danych oparty na dekompozycji całych meczów na sekwencje czasowe reprezentujące pojedynki graczy. Każdy punkt opisano zestawem 36 unikatowych cech kinematycznych.
Strategia eksperymentalna zakładała sekwencyjne testowanie hipotez w coraz bardziej złożonych przestrzeniach reprezentacji danych. W pierwszym etapie wykorzystano metody liniowe: analizę głównych składowych (PCA) oraz liniową analizę dyskryminacyjną (LDA) w celu diagnostyki separowalności klas i zawartej w nich wariancji. Wykazany brak liniowej rozdzielności na zbiorze testowym stanowił uzasadnienie dla przejścia do modeli nieliniowych. Zaimplementowano klasyczne modele zespołowe w postaci lasów losowych, analizując dwa podejścia: klasyfikację całych spotkań oraz alternatywną metodę predykcji odizolowanych zdarzeń z wtórną agregacją wyników. Przejście na model zagregowany pozwoliło na wzrost dokładności klasyfikatora z 63,99% do 80,06%.
Ostatecznym etapem było zaprojektowanie głębokiej sieci neuronowej opartej na architekturze Transformera z mechanizmem agregacji. Model ten, po dobraniu odpowiedniego zestawu cech oraz zaimplementowaniu dodatkowych technik augmentacji danych, wykazał najwyższą skuteczność predykcyjną. Na zbiorze testowym architektura ta osiągnęła dokładność na poziomie 82,14%, miarę F1 równą 81,37% oraz globalną zdolność dyskryminacyjną wyrażoną wskaźnikiem AUC (ang. Area Under the Curve}) wynoszącym 0,8789. Przeprowadzone badania potwierdziły występowanie zjawiska podwójnego spadku oraz wysoką skalowalność architektury w odniesieniu do praw skalowania typu Chinchilla.
This thesis evaluates the effectiveness of selected machine learning methods for the behavioral detection of users utilizing prohibited cheating software in the game Counter-Strike 2. The research process was based on telemetry data extracted from matches played on the FACEIT platform. A proprietary data processing pipeline was designed, based on the decomposition of entire matches into time-series sequences representing player duels. Each data point was described by a set of 36 unique kinematic features.
The experimental strategy involved sequential hypothesis testing across increasingly complex data representation spaces. In the first stage, linear methods were used: Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA) in order to diagnose class separability and the variance contained within the data. The demonstrated lack of linear separability on the test set justified the transition to non-linear models. Classical ensemble models in the form of random forests were implemented, analyzing two distinct approaches: the classification of entire matches and an alternative method of predicting isolated events with subsequent aggregation of the results. Transitioning to the aggregated model resulted in a significant increase in classifier accuracy from 63.99% to 80.06%.
The final stage involved designing a deep neural network based on the Transformer architecture with an aggregation mechanism. This model, after selecting an optimal feature set and implementing additional data augmentation techniques, demonstrated the highest predictive performance. On the test set, this architecture achieved an accuracy of 82.14%, an F1-score of 81.37%, and a global discriminatory power expressed by an Area Under the Curve (AUC) value of 0.8789. Conducted research confirmed the occurrence of the double descent phenomenon and the high scalability of the architecture in relation to Chinchilla-type scaling laws.
