Praca ocenia empirycznie wpływ trzech technik promptowania na trafność klasyfikacji wniosków o świadczenia społeczne przez lokalne modele językowe mierzoną miarą F1 macro. Są to few-shot, Chain-of-Thought oraz dostarczenie kryteriów kwalifikowalności. Badanie przeprowadzono na pięciu modelach (8-12B parametrów) w pełnym schemacie czynnikowym 3 x 2 x 2 x 2, klasyfikując 2400 syntetycznych wniosków na każdą kombinację. Schemat obejmuje dwa zbiory testowe różniące się trudnością: zbiór A z odrzuceniami zdominowanymi przez naruszenia wielokryterialne i zbiór B z odrzuceniami wyłącznie jednokryterialnymi. Dane oparte są na deterministycznych regułach kwalifikowalności Bench-Capona, co eliminuje szum pomiarowy i zapewnia pełną atrybutowalność błędów modelowi. Do wnioskowania statystycznego zastosowano procedurę bootstrapową z korektą Holma na wielokrotne porównania.
CoT oraz informacja o kryteriach poprawiały trafność we wszystkich pięciu modelach. Zbiór B okazał się trudniejszy dla każdego z nich. Informacja o kryteriach okazała się najsilniejszym spośród badanych czynników promptowych (mediana Δ = +0,227 F1 macro). Efekt few-shotu był architekturalnie zróżnicowany, od wyraźnie ujemnego do wyraźnie dodatniego, i nie pozwala na uogólnienie między modelami. Spośród efektów interakcyjnych informacja o kryteriach konsekwentnie osłabiała efekt few-shotu we wszystkich modelach, natomiast efekty synergiczne, takie jak interakcja few-shot z CoT, były specyficzne dla konkretnej architektury. Techniki promptowania przynosiły mniejszy zysk na trudniejszym zbiorze B niż na zbiorze A, co wskazuje, że ich skuteczność zależy nie tylko od architektury modelu, lecz także od struktury klasyfikowanego materiału.
This thesis empirically evaluates the impact of three prompting techniques on the accuracy of social benefit application classification by local language models, measured using the F1 macro metric. These are few-shot prompting, Chain-of-Thought, and the provision of eligibility criteria. The study was conducted on five models (8-12B parameters) using a full 3 x 2 x 2 x 2 factorial design, classifying 2,400 synthetic applications for each combination. The design includes two test sets differing in difficulty: set A, with rejections dominated by multi-criterion violations, and set B, with rejections based solely on single-criterion violations. The data are based on deterministic Bench-Capon eligibility rules, which eliminates measurement noise and ensures that errors are fully attributable to the model. Statistical inference was performed using a bootstrap procedure with Holm correction for multiple comparisons.
CoT and the provision of criteria information improved accuracy across all five models. Set B proved more difficult for each of them. The provision of criteria information emerged as the strongest of the prompting factors studied (median Δ = +0.227 F1 macro). The effect of few-shot prompting was architecturally heterogeneous, ranging from clearly negative to clearly positive, and does not allow for generalization across models. Among the interaction effects, criteria information consistently weakened the few-shot effect across all models, whereas synergistic effects, such as the few-shot x CoT interaction, were specific to particular architectures. Prompting techniques yielded smaller gains on the more difficult set B than on set A, indicating that their effectiveness depends not only on model architecture but also on the structure of the material being classified.
