Jak działa czarna skrzynka?

Sztuczna inteligencja AI, a w szczególności uczenie głębokie, odniosła w ostatnich latach ogromny sukces i znajduje zastosowanie wielu dziedzinach. Rewolucję zapoczątkowały splotowe sieci neuronowe, które umożliwiły skuteczne rozwiązywanie problemów wizyjnych (rozpoznawanie, detekcja i segmentacja obiektów na zdjęciach). Kolejnym milowym krokiem stały się transformery wykorzystywane w przetwarzaniu języka naturalnego (tłumaczenie tekstów, ogromne modele językowe wykorzystywane przez ChatGPT). Niejako w tle rozwinęły się również grafowe sieci neuronowe zdolne przewidywać własności struktur grafowych. Wśród ich interesujących zastosowań warto wymienić poszukiwanie związków chemicznych o pożądanych własnościach (w szczególności leków), czy też opracowywanie systemów rekomendacyjnych zarówno do celów społecznych (w tym związanych z bezpieczeństwem), jak i biznesowych.Wszystkie te spektakularne rozwiązania mają jednak jedną wspólną wadę. Realizowane są przez sztuczne sieci neuronowe, które z punktu widzenia ich twórców są czarnymi skrzynkami. Wiemy, że w odpowiedzi na dane wejściowe dają nam prawidłowe wyniki, jednak nie do końca wiemy jak to robią. Z tego powodu od pewnego czasu rozwija się dziedzina nauki, której jedynym celem jest wyjaśnienie co w takich skrzynkach się dzieje. Jest to tak zwana objaśnialna sztuczna inteligencja XAI.Celem projektu jest zastosowanie technik XAI do objaśniania działania wytrenowanych wcześniej modeli. Realizacja projektu będzie polegała wpierw na zapoznaniu się z narzędziami umożliwiającymi tworzenie i trenowanie sieci neuronowych (ekosystem PyTorch) oraz ich objaśnianie (na przykład Captum czy Quantus). Następnie zostaną wybrane wytrenowane wcześniej modele, które będą podlegać objaśnieniu. Zostaną one wybrane tak, aby wyniki interpretacji ich działania były użyteczne dla ekspertów dziedzinowych, dla których zostały one stworzone. Prace powinny zostać zakończone syntetycznym opisaniem wyników badań w postaci raportu.Przeprowadzenie eksperymentów może być procesem złożonym obliczeniowo, wymagającym dostępu do odpowiedniego sprzętu (karty GPU). Dlatego, w przypadku bardziej skomplikowanych modeli i/lub dużych zbiorów danych, wykorzystany będzie mógł być sprzęt obliczeniowy wskazany przez opiekuna projektu lub komercyjne rozwiązania chmurowe.