Szukiewicz: Tak AI miało zmienić słowo w dowód
O tym jak wykorzystano sztuczną inteligencję do wygenerowania kolejnego raportu na temat katastrofy smoleńskiej na podstawie materiałów podkomisji Antoniego Macierewicza, o cienkiej granicy między hipotezą a dowodem, a także o tym dlaczego AI stwierdziło, że doszło do „gwałtownej dezintegracji w powietrzu, prawdopodobnie wskutek silnej energii wewnętrznej” z Piotrem Szukiewiczem, biegłym sądowym z zakresu nowych technologii rozmawia Radosław Rzeszotek.
Czytaj także: Gulewski: Rozumiem dialog w dwóch wymiarach [WYWIAD]
Co AI „wiedziało”
Dokument, określany mianem „raportu AI” na temat katastrofy smoleńskiej, powstał na podstawie danych, którymi posługiwała się podkomisja Antoniego Macierewicza. Co dokładnie w nich się znajdowało?
Do modeli trafił pakiet materiałów, z którego usunięto nazwę miejsca, datę i typ samolotu, aby „patrzyły” wyłącznie na artefakty. W praktyce w paczce znalazły się zdjęcia fragmentów poszycia i elementów wyposażenia, mapy rozmieszczenia szczątków, opisy zniszczeń w kluczowych strefach kadłuba, skróty z wyników symulacji komputerowych oraz wątek kolizji skrzydła z drzewem. Z punktu widzenia odbiorcy wygląda to jak zarys porządnej ekspertyzy, bo łączy kilka kategorii śladów i porównuje je z jednym scenariuszem. Z punktu widzenia metody to jednak opis już wybranych treści, a nie niezależna, powtarzalna weryfikacja. Model językowy nie prowadzi badań, tylko układa zdania tak, aby były najbardziej prawdopodobne w świetle dostarczonych materiałów. Jeżeli wejścia są selektywne, to wynik także będzie selektywny, nawet jeśli brzmi naukowo i jest podany z przypisami. Wygenerowane w ten sposób dokumenty powtarzają kilka charakterystycznych tez. Ślady TNT (klasyczny, stabilny materiał wybuchowy o długiej historii użycia czyli popularny trotyl) i RDX (silniejszy od trotylu, ale często z nim łączony składnik wybuchowy) na elementach opisanych jako wewnętrzne, stają się ważnym punktem narracji, rozległy rozrzut drobnych szczątków ma potwierdzać rozpad jeszcze w powietrzu, a „wywinięte” krawędzie poszycia i wyrwania drzwi są interpretowane jako skutek działania fali ciśnienia od środka. Dodatkowo raporty wskazują na niezgodność prostych wariantów symulacji „uderzenia całością” z realnym obrazem zniszczeń, co ma sugerować, że „musiało wydarzyć się coś wcześniej”. To klasyczny kolaż poszlak.
Zatem sztuczna inteligencja wygenerowała raport, który jest swego rodzaju wypadkową informacji przekazanych do analizy? Jaka jest zatem wartość takiego zabiegu?
Jako narzędzie do porządkowania i robienia listy pytań, to był świetny pomysł. Ale jako źródło wniosków, które mają wagę dowodu — zły, bo LLM, czyli duży model językowy, nie daje powtarzalności pomiaru, tylko powtarzalność stylu. Jak w każdej dziedzinie w badaniach wypadków mamy określone i jasne standardy. Jednak raport dotyczący jakiegokolwiek badania eksperckiego i wygenerowany z modelu językowego nie spełnia tych wymogów. Zastosowanie modeli miało dwa deklarowane cele: zmniejszyć wpływ kontekstu dzięki anonimizacji i uzyskać świeże spojrzenie na zestaw śladów fizycznych. Pierwszy cel zadziałał tylko częściowo, bo anonimizacja nie usuwa efektu selekcji. Jeżeli w paczce dominują wątki „pro wybuchowe”, to modele złożą z nich spójną opowieść „pro wybuchową”. Drugi cel zadziałał o tyle, że teksty rzeczywiście porządkują wątki i wskazują braki do uzupełnienia, co ma wartość na etapie planowania dalszych badań.
Wierzyć? Nie wierzyć?
W raporcie AI niektóre stwierdzenia brzmią bardzo jednoznacznie, zupełnie jakby wątpliwości wyrażane przez ekspertów nie miały większego znaczenia.
Najmocniej wybrzmiało właśnie słowo „jednoznacznie”, które raporty umieszczają w podsumowaniach. SI trafnie w pewnym momencie „stwierdza”, że samo wykrycie substancji wybuchowych nie przesądza o wybuchu. Po czym następuje zmiana tonu i piszą o „jednoznacznym obrazie”. Nie mamy nowych, pełnych danych – jak wyniki badań, analiza rejestratorów czy rekonstrukcja wraku – więc zamiast dowodu mamy jedynie mocniejszą narrację. To trochę jak oglądanie kryminału bez ostatnich stron książki. Mamy wiele wskazówek, tropów i mocne przeświadczenie o racji, ale brakuje kluczowego rozdziału, który jednoznacznie ujawnia sprawcę, a to kluczowe zagadnienie. Dlatego zamiast pewnego dowodu mamy tylko przekonującą opowieść. W świecie sztucznej inteligencji jednoznaczność jest efektem składni, nie metrologii. Model potrafi brzmieć zdecydowanie, bo został do tego stworzony, ale ton nie odzwierciedla prawdy. To różnica, która decyduje, czy mówimy o hipotezie badanej dalej, czy o materiale, który można bezpiecznie wnieść do sądu.
Jak zatem powstało wrażenie dowodu i dlaczego jest tak przekonujące?
Mechanizm uwiarygadniania bywa prosty. Najpierw anonimizacja tworzy pozór obiektywizmu, choć nie mówi nic o doborze tzw. artefaktów, czyli elementów, które stanowią podstawę badania. Potem zgoda kilku modeli wygląda jak konsensus, chociaż to tylko echo tego samego zestawu wejść. Następnie pojawia się eskalacja języka: od „to poszlaka” do „to jednoznacznie wskazuje”. Obraz całości dopełnia oprawa naukowa, czyli tabele, mapy, skróty techniczne i cytaty, które dają czytelnikowi sygnał „to brzmi jak ekspertyza”. Nie trzeba fałszować danych, żeby uzyskać mocny efekt. W przypadku sztucznej inteligencji wystarczyłaby odpowiednia selekcja materiału, spójny styl i kategoryczne podsumowanie, a ludzki mózg sam dopisze brakujący autorytet. Tak to działa.
To brzmi jakby widział Pan możliwość takiego wykorzystania AI, żeby wnioski i konkluzje brzmiały zupełnie inaczej. Co można było zrobić lepiej zachowując tę samą metodę?
Po pierwsze, od początku zdefiniować rolę dokumentu jako materiału pomocniczego, a nie rozstrzygającej ekspertyzy. Po drugie, opublikować pełny spis wejść: jakie zdjęcia, jakie mapy, jakie próbki i jakie parametry modeli trafiły do paczki, oraz co z niej celowo wyłączono. Po trzecie, dobrym pomysłem byłoby stworzenie drugiego zespołu, który działałby równolegle i miałby jedno zadanie, mianowicie sprawdzić, czy hipoteza o eksplozji naprawdę się broni. Taki zespół nie szukałby potwierdzenia, tylko przeciwnie – próbowałby ją obalić, korzystając z tych samych danych, które już mamy, a później także z dodatkowych informacji, których dziś brakuje. Dzięki temu mielibyśmy dwie perspektywy – jedną, która buduje argumenty za, i drugą, która testuje je pod kątem słabości. To trochę jak w sporze sądowym: jedna strona przedstawia dowody, a druga próbuje je podważyć, żeby sprawdzić, czy naprawdę są solidne.. Po czwarte, należy powiązać wnioski z planem badań w sposób systematyczny i transparentny. Jeśli w danym obszarze – przykładowo w chemii – kluczowe są parametry wykrywalności, to trzeba wskazać konkretne laboratoria, metody pomiarowe oraz granice czułości. W przypadku badań opartych na sztucznej inteligencji oznacza to jasno opisane zestawy danych, procedury i kryteria jakości modeli. Innymi słowy, każdy wniosek musi być osadzony w planie eksperymentalnym, który pokazuje nie tylko co badamy, ale też jak i gdzie to robimy. I na końcu, konieczne jest ustalenie standardu językowego, który chroni przed nadużyciami interpretacyjnymi. W praktyce oznacza to, że dopóki hipoteza nie zostanie zweryfikowana w sposób powtarzalny i niezależny, należy używać określeń takich jak „hipoteza” czy „wstępnie”. Dopiero gdy pojawi się dowód bezpośredni – czy to w postaci twardych wyników laboratoryjnych, jednoznacznych zapisów rejestratorów, czy sprawdzonych modeli AI – można użyć słowa „jednoznacznie”. W świecie badań nad sztuczną inteligencją jest to szczególnie ważne: dopóki model nie przejdzie rygorystycznych testów na niezależnych danych, jego wyniki pozostają hipotezą, a nie dowodem.. Model naprawdę pomaga, kiedy jest przezroczysty wiadomo, co widział, co pominął i jak został zapytany. Ciekawym porównaniem jest w tym wypadku badanie wariografem, ono wskazuje czy ktoś kłamie czy nie, niemniej jednak ostateczna decyzja należy do sędziego.
Poszlaki w walce politycznej?
Wróćmy do tego co miało być jednoznaczne, a jednak takie nie było. Bo przecież to nie tak, że o przebiegu katastrofy nie wiemy nic i opieramy się jedynie na poszlakach.
Chemia próbek brzmi mocno, jednak bez informacji o czasie pobrania, przechowywaniu, kontrolach i duplikatach pozostaje ona w sferze poszlak. Pole szczątków potrafi być szerokie zarówno po eksplozji, jak i przy dużych przeciążeniach i złożonych obrotach, dlatego bez ilościowego porównania do analogicznych wypadków nie przesądza. „Wywinięte” krawędzie i wyrwania wyglądają dramatycznie, jednak wymagają mikro analizy potwierdzającej kierunek działania sił i obecność efektów charakterystycznych dla fali ciśnienia. Symulacje są bardzo cenne, lecz dopiero wtedy, gdy mają jawne założenia i walidację na danych terenowych, stają się narzędziem rozstrzygającym. Wyobraźmy sobie, że na podstawie powyższego, dane zostały wygenerowane przez sztuczną inteligencję, która pokazuje wyniki wyglądające bardzo przekonująco. Ale jeśli nie wiemy, kiedy i jak dokładnie była sprawdzana, na jakich konkretnie danych działała i czy ktoś niezależny powtórzył te testy, to wciąż mamy tylko przypuszczenie. Efektowne wykresy czy wyniki mogą wyglądać mocno, ale dopiero dokładne sprawdzenie pokazuje, czy naprawdę coś znaczą. Symulacje są pomocne, ale dopiero wtedy, gdy jasno wiadomo, jakie miały zasady i czy potwierdzają je prawdziwe dane, stają się wiarygodne. W praktyce liczy się to, czy drugi zespół, pracując osobno, uzyska taki sam rezultat. Jeśli nie, to mamy tylko scenariusz do zbadania, a nie pewny dowód
A jednak raport opracowany przez AI wykorzystywany jest w walce politycznej i przez niektóre środowiska przedstawiany jest jako kolejny dowód na hipotezę o wybuchu, jako przyczynie katastrofy smoleńskiej.
Kiedy państwowa instytucja cytuje raport z modeli językowych, autorytet języka bywa mylony z autorytetem metody, co niesie realne konsekwencje. W sądzie strony mogą przynosić sprzeczne raporty AI, których nie da się powtórzyć, a sędzia będzie porównywał styl i narrację zamiast metod i błędów pomiaru. W dyplomacji dokument bez walidacji łatwo podważyć, co osłabia pozycję instytucji na zewnątrz. W debacie publicznej zwiększa się polaryzacja, bo mocne słowa zastępują wspólny zestaw faktów. Czy to ma znaczenie dla Polski? Tak, bowiem jeżeli pomylimy materiał pomocniczy z ekspertyzą, oddamy przeciwnikom prosty pretekst do kwestionowania naszych ustaleń. Modele językowe nie są zagrożeniem, jeśli trzymamy je w roli narzędzia, a nie arbitra. Problem zaczyna się wtedy, gdy zamieniamy wygenerowany tekst w dowód bez przejścia przez laboratoria i niezależne zespoły.
Jakie więc płyną wnioski z reportu AI, który został wygenerowany na bazie informacji przekazanych przez podkomisję Antoniego Macierewicza?
Raporty wygenerowane przez sztuczną inteligencję porządkują materiał i ułatwiają planowanie badań, dzięki czemu mogą skrócić drogę do właściwych pytań. Nie są jednak ekspertyzą rozstrzygającą, ponieważ nie oferują metodologii dowodu: nie mierzą, nie utrzymują łańcucha próbek, nie gwarantują powtarzalności i odpowiedzialności autorów. W sprawach o najwyższej wadze — od bezpieczeństwa po rację stanu — te różnice decydują o zaufaniu do instytucji i o jakości decyzji. Gdy zobaczymy jawne dane, pełne protokoły badań i zweryfikowane modele, możemy rozmawiać o faktach. Do tego czasu mamy hipotezy, które trzeba sprawdzić po staremu. SI to dobry pomysł, jeśli ma pomagać pytać lepiej. Ale jest zły, jeśli ma odpowiadać za nas.
Jeśli chcesz wiedzieć co dzieje się w okolicach Torunia, odwiedź nasz bliźniaczy portal pozatorun.pl
