Jak unikać halucynacji i specyficznych błędów branżowych w generowaniu tekstów prawnych/medycznych w języku polskim (ChatGPT, Claude AI)?

Unikanie halucynacji i specyficznych błędów branżowych w generowaniu tekstów prawnych i medycznych za pomocą narzędzi AI, takich jak ChatGPT czy Claude AI, sprowadza się do jednej, złotej zasady: nigdy nie trać ludzkiej kontroli i zawsze weryfikuj. To nie są zabawki, ani czarodziejskie kule. To są narzędzia, które potrafią sporo namieszać, jeśli pozwolisz im działać na autopilocie, szczególnie w tak wrażliwych domenach. Koniec kropka.

Dlaczego AI „halucynuje” w prawie i medycynie?

AI, a zwłaszcza duże modele językowe (LLM), działają na zasadzie przewidywania kolejnego słowa, bazując na ogromnych zbiorach danych. Nie rozumieją znaczenia w taki sposób, jak człowiek. One widzą wzorce. W domenach prawnych i medycznych, gdzie precyzja, aktualność i kontekst są wszystkim, to podejście jest jednocześnie ich siłą i największą słabością. Czasem, gdy danych brakuje, są niejasne lub sprzeczne, model „wymyśla” – czyli generuje coś, co brzmi wiarygodnie, ale jest całkowicie błędne. Tak, widziałem to w cholerę razy. W medycynie może to być zmyślona nazwa leku, w prawie – nieistniejący artykuł ustawy czy orzeczenie. To masakra.

Jak pisać prompty, by zmniejszyć ryzyko błędów?

Odpowiednie promptowanie to podstawa, ale to nie są żadne cuda, tylko zdrowy rozsądek i precyzja.

• Bądź ultra-konkretny. Zamiast: „Napisz o eutanazji w Polsce”, napisz: „Przygotuj zwięzłe podsumowanie statusu prawnego eutanazji w Polsce na dzień 20 marca 2024 roku, odwołując się do aktualnych przepisów Kodeksu Karnego oraz orzecznictwa Sądu Najwyższego.”
• Ograniczaj zakres. Nie proś o „wszystko”, tylko o „konkret”. Chcesz analizy konkretnego artykułu? Podaj numer, datę uchwalenia i pełną nazwę aktu prawnego. W medycynie, zamiast „opisz leczenie cukrzycy”, poproś o „standardy leczenia cukrzycy typu 2 u pacjentów dorosłych z BMI powyżej 30, zgodnie z wytycznymi Polskiego Towarzystwa Diabetologicznego z 2023 roku.”
• Wymagaj źródeł. Zawsze proś AI o podanie źródeł, jeśli generuje fakty, daty, numery artykułów, czy nazwy badań. Nawet jeśli AI je poda, zawsze je weryfikuj. To najważniejsze. Bez kitu. (Nie pytaj skąd wiem, że to kluczowe).
• Używaj kontekstu. Dostarcz jak najwięcej własnego kontekstu. Jeśli masz dokumenty, paragrafy, wyniki badań – wklej je do prompta i poproś AI o analizę WYŁĄCZNIE na ich podstawie. Na przykład: „Na podstawie załączonego fragmentu ustawy X, określ, jakie kary grożą za czyn Y. Nie bazuj na żadnych innych informacjach.”
• Iteruj i poprawiaj. Traktuj pierwszą odpowiedź AI jako szkic. Zadawaj pytania uzupełniające: „Uściślij punkt 3.”, „Czy to orzeczenie jest nadal aktualne?”, „Czy istnieją wyjątki od tej zasady w prawie medycznym?”.

Specyfika polskiego języka i prawa/medycyny

Polski język, z jego deklinacjami, koniugacjami i specyficzną terminologią, to dla AI nie lada wyzwanie. Modele są w tym coraz lepsze, ale błędy językowe w dokumentach prawnych czy medycznych to poważny problem. Nawet subtelne przekłamanie w słownictwie może zmienić sens.

Ponadto, polskie prawo i medycyna mają swoją lokalną specyfikę. Orzecznictwo Sądu Najwyższego, lokalne ustawy, wytyczne NFZ, standardy medyczne – to wszystko może nie być dostatecznie reprezentowane w globalnych zbiorach danych, na których trenowano AI. AI może znać ogólne zasady, ale nie szczegóły polskiej procedury administracyjnej czy aktualnych wytycznych dotyczących profilaktyki raka szyjki macicy w Polsce. I dobra.

Narzędzia wspomagające i proces weryfikacji

Ostatecznie, AI to tylko asystent. Ty jesteś mózgiem.

• Ekspert człowiek. Zawsze, ale to zawsze, końcowa weryfikacja musi należeć do eksperta dziedzinowego – prawnika, lekarza. To oni ponoszą odpowiedzialność, a nie AI.
• Specjalistyczne bazy danych. Korzystaj z Lex Polonica, Legalis, SIP czy medycznych baz danych jak PubMed, Medline. To są sprawdzone źródła. AI nigdy ich nie zastąpi. Traktuj AI jako wyszukiwarkę, która czasem ładnie zredaguje tekst, ale to Ty musisz sprawdzić, czy jego „znaleziska” są prawdziwe.
• Weryfikacja krzyżowa. Jeśli AI poda ci informację, sprawdź ją w co najmniej dwóch niezależnych, wiarygodnych źródłach.
• Kontrola wersji. W prawie i medycynie liczy się każda data. Sprawdzaj daty obowiązywania przepisów, wytycznych, badań klinicznych. AI nie zawsze wie, co jest aktualne, a co archaiczne.

Najczęstsze pytania

Czy AI może kiedyś zastąpić prawników lub lekarzy w generowaniu dokumentów?

Moim zdaniem? Nigdy w pełni. AI może automatyzować pewne rutynowe zadania i pomagać w researchu, ale ostateczna analiza, interpretacja i odpowiedzialność zawsze będą leżeć po stronie człowieka.

Czy da się całkowicie wyeliminować halucynacje AI?

Całkowite wyeliminowanie jest niemożliwe, ponieważ wynika z natury działania modeli językowych. Można jednak znacząco zminimalizować ryzyko poprzez odpowiednie promptowanie, dostarczanie kontekstu i rygorystyczną weryfikację.