Sztuczna Inteligencja jest obecnie jedną z najszybciej rozwijających się dyscyplin, która może pozwolić na automatyzację i wsparcie wielu dziedzin życia społecznego. Obecnie największą barierą powstrzymującą zastosowanie modeli AI jest ich złożona architektura, która powoduje efekt czarnej skrzynki – nie jest jasne w jakie cechy przyczyniły się do danej decyzji modelu. W związku z powyższym dąży się do opracowania i wdrożenia metod umożliwiających wyjaśnienie działania modeli AI, w szczególności głębokich sieci neuronowych.
W pracy przedstawiono propozycję wyjaśnienia procesu podejmowania decyzji przez konwolucyjną sieć neuronową na podstawie analizy wizualnej tzw. wyników pośrednich w procesie przetwarzania obrazu wejściowego danego modelu . Pozwala to na zrozumienie cech wpływających na podjęcie decyzji oraz na interpretację poszczególnych elementów sieci ze względu na rolę jaka pełnią podczas powierzonego jej zadania. Analiza została przeprowadzona w aplikacji VisNow przy pomocy specjalnie przygotowanych narzędzi.
Artificial Intelligence is one of the most dynamically developing disciplines, which may help to automate and improve many areas of social life. Currently, the greatest obstacle restraining the use of AI is its complex architecture, which leads to it becoming a black-box model – it is not clear which of the features contributed to the model’s decision. Therefore, it is vital to develop and implement methods that help to explain the decisions of AI models, especially deep neural networks.
A method to explain the decision-making process of the convolutional neural network is proposed in the following thesis. It is based on visual analysis of so-called intermediate results obtained while an input image is being processed by a given model. It helps to understand the features important for the decision-making process and to interpret each of the neural network elements’ roles in the whole process. The analysis has been performed in VisNow software with specially designed tools.
