Med‑Gemini Google’a wymyśliło nieistniejący fragment mózgu. I żaden lekarz nie zauważył
Opracowany przez Google’a model AI Med‑Gemini został przyłapany na poważnym błędzie. w pracy badawczej pojawiło się określenie "basilar ganglia", które nie istnieje w anatomii człowieka. Błąd, określony później jako literówka, przeszedł niezauważony przez kilkudziesięciu autorów i recenzentów.
Med‑Gemini to najnowszy projekt Google Health do zastosowań klinicznych – system potrafi analizować skany, tworzyć raporty radiologiczne i przetwarzać różnego rodzaju dane medyczne. Ta zaawansowana sztuczna inteligencja, jak się jednak okazuje, nie jest wolna od błędów czy halucynacji.
Literówka czy poważna pomyłka?
Błąd, o którym mowa, wyłapał dopiero neurolog Bryan Moore, który zgłosił problem gigantowi. Reakcja firmy jednak zastanawia: Google cichaczem skorygowało tekst na swoim blogu i stwierdziło, że chodziło o zwykły błąd edytorski, czyli literówkę. Specjaliści jednak alarmują: pomylenie "basal ganglia" (zwoje podstawy mózgu) z "basilar ganglia" – pojęciem nieistniejącym – może prowadzić do błędnych diagnoz, jeśli AI używane jest zastosowaniach medycznych.
Problem z tymi literówkami lub innymi halucynacjami jest taki, że nie ufam ludziom, jeśli chodzi o ich weryfikację, przynajmniej nie na każdym poziomie. Te rzeczy się rozprzestrzeniają… AI czyta te błędne notatki i na ich podstawie podejmuje decyzje.
Sprawa budzi szczególne emocje, bo Med‑Gemini jest już testowane w warunkach szpitalnych – w ramach programu "trusted tester" – i może mieć realny wpływ na leczenie pacjentów.
Medyczne halucynacje AI, czyli stare ryzyko w nowym wydaniu
Podobne problemy występowały już wcześniej, w innych modelach Google. Przykładowo MedGemma w testach odpowiadała sprzecznie w zależności od sformułowania pytania: w jednym przypadku prawidłowo identyfikowała patologiczne zmiany, w innym całkowicie je ignorowała. Google zaś w dalszym ciągu najwyraźniej nie potrafi sobie poradzić z problemem.
Badacze wskazują, że AI niemal nigdy nie przyznaje się do niewiedzy. Zamiast po prostu odpowiedzieć "nie wiem", tworzy pewne odpowiedzi, które mogą być błędne. Dla diagnostyki to zaś bardzo poważne zagrożenie, wręcz fundamentalne – gdyż stawia pod znakiem zapytania ogólną przydatność AI w tym zakresie.
Dr Jonathan Chen ze Stanforda podkreśla, że błędy w publikacjach recenzowanych pokazują problem systemowy: "Może to literówka, może znacząca różnica – wszystkie to realne problemy, które trzeba rozważyć". Warto również zauważyć, że publikacja z błędem miała ponad 50 współautorów i była poddana recenzji naukowej, a mimo to nikt nie zauważył nieistniejącej struktury mózgu. To pokazuje, jak łatwo halucynacje AI mogą trafić do oficjalnych źródeł wiedzy.
Grzegorz Karaś, dziennikarz pcformat.pl
