Halucynacje a proces deterministyczny z AI

Halucynacja AI to odpowiedź modelu językowego, która nie ma żadnego umocowania w możliwych do zweryfikowania faktach i źródłach.

Zacznijmy od rzeczy, której większość kursów AI nie powie wprost: model językowy nie wie, kiedy kłamie.

Nie ma w nim mechanizmu, który odróżnia „wiem" od „wydaje mi się". Generuje ciąg tokenów, który statystycznie pasuje do kontekstu, i robi to z identycznym poziomem pewności siebie niezależnie od tego, czy odpowiedź jest słuszna, czy całkowicie zmyślona. To nie błąd do naprawienia w kolejnej wersji. To właściwość architektury.

I tu zaczyna się prawdziwy problem.

Czym są halucynacje w praktyce

Słowo „halucynacja" brzmi jak rzadki wypadek przy pracy. W rzeczywistości to codzienny tryb działania. Halucynacje to nie tylko zmyślone fakty, to cała rodzina błędów, które łączy jedno: wyglądają wiarygodnie.

W praktyce wyglądają tak: termin brzmiący profesjonalnie, ale nieużywany w branży; link do artykułu, który nie istnieje lub prowadzi do zupełnie innej treści; „cytat", który nigdy nie pojawił się w podanym źródle; data, która jest o rok za wcześnie lub za późno; przepis prawny z właściwym numerem, ale błędną treścią.

Klasyczna próba obrony, prompt „nie rób błędów", z oczywistych przyczyn nie działa. Jeszcze gorszy efekt daje „sprawdź, czy to prawda", bo jak możemy ufać tej weryfikacji, wiedząc to, co wiemy o LLM-ach? Model, który właśnie skłamał, chętnie potwierdzi swój błąd.

Ba, poproszony o ocenę własnej odpowiedzi, potrafi z dużą pewnością siebie wyłapać nieistniejące błędy i jednocześnie przeoczyć te prawdziwe.

Niedeterministyczny problem wymaga deterministycznego rozwiązania

Tu właśnie jest sedno. Nie chodzi o to, aby model kłamał rzadziej. Chodzi o zbudowanie procesu, w którym kłamstwo modelu nie dociera do wyniku końcowego.

Schemat lekkomyślny wygląda tak: prompt → LLM → odpowiedź → gotowe. Schemat, który faktycznie działa: prompt → LLM → dane surowe → weryfikacja zewnętrzna → dane oczyszczone → zastosowanie.

Różnica jest fundamentalna. W pierwszym modelu każda odpowiedź jest jednocześnie wynikiem. W drugim odpowiedź modelu to zaledwie hipoteza do sprawdzenia.

Kluczowe słowa to weryfikacja zewnętrzna, czyli coś, co nie polega na kolejnym zapytaniu do modelu. Potrzebujemy czegoś deterministycznego: skryptu, reguły, narzędzia, które zawsze zwraca ten sam wynik dla tych samych danych wejściowych i nie ma złych dni. Wszak komenda grep nie kłamie nawet pod presją.

Trzy warstwy, które robią różnicę

Nie ma jednej techniki, która eliminuje halucynacje. Jest natomiast układ warstw, który zmniejsza ryzyko na każdym etapie:

Kontekst zamiast pamięci. Zamiast pytać model „co wiesz o X", dostarcz mu zweryfikowane dane z zewnątrz: dokumenty, bazy danych, wyniki narzędzi. Model, który dostaje gotowe fakty, ma mniej powodów, aby je wymyślać.

Walidacja po, nie przed. Każdy output modelu traktuj jak wersję roboczą. Sprawdzaj go regułami, skryptami lub niezależnym przejściem innego modelu, ale nie tym samym, który wygenerował odpowiedź. Dwa niezależne punkty widzenia to minimum.

Ślad źródłowy. Zapisuj, skąd pochodzi każda informacja. Nie po to, aby udokumentować proces, ale po to, aby można było prześledzić błąd wstecz i wyciąć go przy następnym uruchomieniu. Bez śladu każdy błąd jest jednorazowym wypadkiem. Ze śladem staje się regułą do naprawienia.

Ale najnowsze modele radzą sobie z tym lepiej

To prawda. I warto to powiedzieć wprost, zamiast zostawiać absolutne stwierdzenia z roku 2023.

Nowsze generacje modeli, szczególnie przy wielokrotnych iteracjach i z użyciem sub-agentów, potrafią samodzielnie odsiewać źródła wiarygodne od wątpliwych. W wielu zastosowaniach wewnętrzna walidacja modelu jest już całkiem rozsądna.

Ale nadal to my decydujemy o kształcie procesu. I nadal rozumienie, gdzie ryzyko się pojawia, pozwala nam zaprojektować system, który to ryzyko omija, niezależnie od tego, jak dobry jest model pod spodem.

Być może halucynacje nigdy nie znikną całkowicie z modeli językowych...ale przestaną być problemem? W poważnych zastosowaniach biznesowych odpowiedź brzmi: tak, pod warunkiem, że proces jest zbudowany świadomie.

Od eksperymentu do narzędzia produkcyjnego

Największy problem firm pracujących z AI to nie brak technologii. To brak powtarzalności. To samo zadanie dziś działa, jutro nie, i nikt nie wie dlaczego.

Przepis na powtarzalność jest prosty w teorii i trudny w wykonaniu: zamień luźne eksperymenty w pipeline z jasnymi wejściami i wyjściami. Każdy krok ma znane dane wejściowe, robi jedno konkretne zadanie i produkuje dane wyjściowe o określonym formacie. Weryfikacja nie jest opcjonalna: jest częścią procesu, nie dodatkiem.

Wtedy AI przestaje być loterią, a zaczyna być narzędziem produkcyjnym. I to, a nie jakość odpowiedzi w pojedynczym prompcie, jest właściwym miernikiem dojrzałości organizacji pracującej z AI.