W branży ubezpieczeniowej słowa mają ogromną moc: potrafią obiecać świadczenia albo odmówić odszkodowania, zamknąć reklamację pozytywnie albo rozjątrzyć spór. Dlatego bardzo dużą uwagę należy zwrócić na zjawisko tzw. halucynacji w aplikacjach opartych na modelach genAI, takich jak chat GPT, Gemini czy Claude.
Halucynacja (właściwie konfabulacja) to sytuacja, w której system generujący tekst tworzy wiarygodnie brzmiące treści niezgodne z faktami. Modele często nie sygnalizują niepewności, gdy konfabulują. Przykład: chatbot powołuje się na nieistniejący paragraf OWU, asystent podaje błędny termin na dostarczenie dokumentów, generator „uściśla” zakres ochrony, którego nie ma w polisie.
Czym jest halucynacja?
Halucynacja nie jest błędem do usunięcia, to immanentna cecha LLM-ów wynikająca z ich architektury. Modele przewidują kolejne tokeny (składające się na słowa) na zasadzie prawdopodobieństwa. Nie weryfikują prawdy, bo nie rozumieją, czym ona jest. Gdy brak im kontekstu, uzupełniają luki najbardziej prawdopodobną kontynuacją, niekoniecznie prawdziwą.
Innymi powodami są zanieczyszczone dane treningowe, brak aktualnych dokumentów. Modele są „trenowane”, aby zawsze udzielać odpowiedzi i unikać stwierdzenia „nie wiem”.
Zastosowanie i możliwe problemy
W obsłudze klienta halucynacje mogą prowadzić do realnych strat. W likwidacji szkód system wspierający likwidatora może „dopowiadać” okoliczności zdarzenia na podstawie częściowych danych. Algorytmy tworzą własną rzeczywistość, którą traktujemy jako obiektywną prawdę.
Problem narasta przy ocenie ryzyka. Modele zapytane o profil ryzyka mogą „kreatywnie” interpretować niepełne dane, dorabiając statystyki czy trendy. Szczególnie groźne jest to w underwritingu – halucynujący system może stworzyć przekonującą narrację o ryzyku, kompletnie oderwaną od rzeczywistości.
Iluzja kompetencji
Przyjrzyjmy się mechanizmowi, który sprawia, że halucynacje są tak zwodnicze. Modele językowe zostały wytrenowane na miliardach tekstów branżowych – znają żargon ubezpieczeniowy, potrafią składać zdania jak doświadczony underwriter. Ta płynność językowa tworzy to, co nazywam „iluzją kompetencji” – system brzmi jak ekspert, więc zakładamy, że nim jest.
Microsoft w swoim raporcie „Work Trend Index 2024” podaje, że 75% pracowników biurowych używa AI w pracy, ale tylko 39% firm zapewnia szkolenia z krytycznej oceny wyników AI.
W ubezpieczeniach, gdzie decyzje często opierają się na interpretacji skomplikowanych klauzul i precedensów, taka luka kompetencyjna może być katastrofalna.
Regulacyjna próżnia
Europejski AI Act klasyfikuje część systemów oceny ryzyka ubezpieczeniowego jako „wysokiego ryzyka”, nakładając obowiązki transparentności i nadzoru ludzkiego. Ale czy przepisy nadążą za praktyką? Regulatorzy finansowi w Europie przyznają, że brakuje jednolitych standardów weryfikacji wiarygodności systemów generatywnych w sektorze finansowym.
Co więcej, odpowiedzialność prawna pozostaje niejasna. Jeśli halucynujący chatbot obieca klientowi odszkodowanie, kto ponosi konsekwencje? Ubezpieczyciel, dostawca technologii czy może integrator systemu? Przypadek Air Canada sugeruje, że to firma końcowa będzie musiała honorować zobowiązania swojego „cyfrowego przedstawiciela”.
Mechanizmy obronne
Branża nie jest jednak bezbronna. Coraz więcej towarzystw wdraża wielopoziomowe systemy kontroli. Retrieval-Augmented Generation (RAG) pozwala modelom odwoływać się do aktualnej bazy dokumentów, zamiast polegać tylko na wiedzy z treningu. Trzeba jednak zaznaczyć, że to rozwiązanie nie chroni w 100% przed halucynacjami. Techniki chain-of-thought wymuszają na modelach pokazywanie kroków rozumowania, co ułatwia wykrycie momentu, gdy system zaczyna konfabulować.
Niektóre towarzystwa eksperymentują z technikami, gdzie jeden model weryfikuje odpowiedzi drugiego – to przypomina średniowieczną praktykę advocatus diaboli, tylko w cyfrowym wydaniu.
Człowiek w pętli – konieczność czy hamulec?
„Nadzór ludzki” staje się kluczowy, ale przyjrzyjmy się, co to oznacza w praktyce. Czy przeciążony pracownik, przeglądający setki rekomendacji AI dziennie, rzeczywiście jest w stanie wyłapać subtelne halucynacje?
Paradoksalnie, im lepszy model, tym trudniej wykryć jego błędy. Halucynacje współczesnych LLM-ów są często wplecione w poprawny kontekst, używają właściwej terminologii, powołują się na prawdziwe (choć niewłaściwie zastosowane) przepisy. To nie są już oczywiste „głupoty” pierwszych chatbotów, ale wyrafinowane konfabulacje, których wykrycie wymaga eksperckiej wiedzy.
W stronę świadomej koegzystencji
Może odpowiedzią nie jest eliminacja halucynacji, co przy obecnej architekturze LLM jest niemożliwe, ale nauczenie się życia z nimi? Tak jak lekarze nauczyli się interpretować niedoskonałe wyniki badań diagnostycznych, tak branża ubezpieczeniowa musi wypracować protokoły pracy z halucynującymi systemami.
Wydaje mi się, że kluczem jest transparentność wobec klientów. Zamiast ukrywać fakt używania AI, towarzystwa powinny otwarcie komunikować: „Ten tekst został wygenerowany przez system AI i może zawierać nieścisłości. Wiążące warunki znajdziesz w oficjalnych dokumentach”. To nie jest przyznanie się do słabości, ale uczciwe określenie granic technologii.
Każda technologia niesie ze sobą własną filozofię. Filozofia LLM-ów to probabilistyczne przybliżenie rzeczywistości, nie jej wierne odwzorowanie. W branży, gdzie jedno słowo może zmienić sens całej polisy, musimy pamiętać o tej fundamentalnej różnicy między prawdopodobieństwem a prawdą.
Halucynacje w genAI nie są błędem do naprawienia, ale cechą do zarządzania. Pytanie nie brzmi czy, tylko jak będziemy koegzystować z systemami, które potrafią być jednocześnie błyskotliwe i całkowicie mylne. Odpowiedź na nie określi, czy AI stanie się wartościowym narzędziem wsparcia, czy kolejną „bronią matematycznej zagłady” w rękach branży ubezpieczeniowej.
Zbigniew Rzepkowski
Product Owner, Project Manager, AI Manager
