Co robić, gdy chat AI nie zna odpowiedzi lub się myli

Najpierw: nie traktuj pewnego tonu jak dowodu

Jeśli chat AI nie zna odpowiedzi albo podaje coś, co wygląda na błąd, zatrzymaj się przed podjęciem działania. Poproś o wskazanie źródła, sprawdź kluczowy szczegół w wiarygodnym dokumencie i doprecyzuj pytanie tylko wtedy, gdy brakuje kontekstu. Jeśli sprawa dotyczy pieniędzy, zdrowia, prawa, bezpieczeństwa lub konkretnego zamówienia, poproś o pomoc pracownika.

Ten poradnik jest dla osób korzystających z chatów AI oraz dla firm, które układają komunikaty swojego chatbota. To ważne, bo modele generatywne potrafią podać nieprawdziwą odpowiedź w przekonującym tonie, a nawet stworzyć pozornie uzasadniające ją cytowania. NIST opisuje takie błędne treści jako konfabulacje i zwraca uwagę na ryzyko, że użytkownik zaufa im i na ich podstawie zadziała (profil NIST dla generatywnej AI).

Jak dopytać, gdy odpowiedź jest niejasna

Zamiast wpisywać ponownie to samo pytanie, podaj brakujący kontekst i wskaż, jakiej odpowiedzi potrzebujesz. Jeśli pytasz chat na stronie firmy, możesz dodać nazwę produktu, numer sprawy lub datę — o ile nie wymaga to ujawniania wrażliwych danych w niezaufanym narzędziu.

Spróbuj takich komunikatów:

„Chodzi mi o zwrot zamówienia złożonego w sklepie internetowym. Podaj zasady obowiązujące dla tego produktu”.
„Czy możesz wskazać stronę lub fragment dokumentu, na którym opierasz tę odpowiedź?”
„Nie jestem pewien, czy dobrze rozumiem. Oddziel proszę potwierdzone informacje od przypuszczeń”.
„Jeśli nie masz tej informacji w dostępnych materiałach, napisz wprost, że jej nie ma”.

Prośba o źródło pomaga znaleźć punkt do sprawdzenia, ale sama w sobie nie potwierdza poprawności odpowiedzi. NIST wskazuje, że AI może tworzyć także błędne cytowania, które sprawiają wrażenie uzasadnienia (profil NIST dla generatywnej AI). Otwórz więc podany link lub dokument i sprawdź, czy rzeczywiście potwierdza konkretną informację.

Co napisać, gdy chat odpowiada błędnie

Najpierw wskaż konkretny błąd — na przykład niezgodną datę, nazwę produktu albo punkt regulaminu. Następnie poproś o korektę opartą na konkretnym źródle. Nie podpowiadaj odpowiedzi, której oczekujesz, tylko po to, by chat ją przyjął. Zgodne z twoją sugestią brzmienie nie jest dowodem, że informacja jest prawdziwa.

Możesz napisać:

„Ta odpowiedź nie zgadza się z informacją na stronie [nazwa lub link]. Sprawdź wskazany materiał i popraw odpowiedź. Jeśli nie możesz potwierdzić tej informacji, powiedz to wprost”.

Jeśli rozbieżność pozostaje, zakończ próby i przejdź do kontaktu z człowiekiem. Nie musisz rozstrzygać, czy problem wynika z braku danych, błędnej interpretacji czy nieaktualnego źródła. Wystarczy, że nie możesz zweryfikować odpowiedzi.

Kiedy przekazać sprawę pracownikowi

Poproś o człowieka, gdy chatbot nie rozumie pytania mimo doprecyzowania, nie ma potrzebnej informacji, powtarza niespójną odpowiedź albo gdy błąd może mieć istotne konsekwencje. Przekazanie sprawy jest też właściwe wtedy, gdy po prostu chcesz porozmawiać z pracownikiem.

Wytyczne Microsoftu dla projektowania rozmów z agentem zalecają przygotować różne odpowiedzi awaryjne, jasno powiedzieć, czego agent nie potrafi, i zadbać o płynne przekazanie rozmowy — tak, by użytkownik wiedział, co stanie się dalej i nie musiał od początku opowiadać całej sprawy. Microsoft sugeruje też, by po dwóch pytaniach awaryjnych w jednej sesji skierować użytkownika do innego źródła lub pracownika (wskazówki Microsoftu dotyczące komunikatów awaryjnych i przekazania). Traktuj tę liczbę jako projektową wskazówkę, nie jako uniwersalną regułę dla każdej rozmowy.

Gotowy komunikat dla użytkownika może brzmieć tak:

„Nie mogę potwierdzić tej informacji na podstawie dostępnych materiałów. Mogę przekazać rozmowę pracownikowi. Czy chcesz kontynuować? Przekażę mu dotychczasową rozmowę, żeby nie trzeba było zaczynać od początku”.

Jeśli przekazanie na żywo nie jest dostępne, powiedz jasno, co użytkownik ma zrobić: podaj działający formularz, adres e-mail, numer telefonu albo godziny kontaktu. Nie obiecuj połączenia z pracownikiem, jeśli system nie potrafi go wykonać. W systemie Dialogflow CX przekazanie rozmowy do człowieka jest osobnym etapem obsługiwanym przez agenta i integrację (dokumentacja Google dotycząca handoffu).

Jak przygotować komunikaty chatbota

Jeśli odpowiadasz za chat na stronie, zaplanuj osobne komunikaty dla trzech sytuacji: nie rozumiem pytania, rozumiem je, ale nie mam danych, oraz odpowiedź wymaga pracownika. Microsoft zaleca fallbacks o różnych funkcjach — doprecyzowanie, rozstrzygnięcie niejasności i uczciwe wskazanie ograniczeń — zamiast powtarzania jednego ogólnego „przepraszam” (wskazówki Microsoftu).

Przykłady:

Brak zrozumienia: „Nie jestem pewien, o co pytasz. Napisz proszę, czy chodzi o dostawę, zwrot czy płatność”.
Brak informacji: „Nie znajduję potwierdzenia tej informacji w materiałach, z których korzystam. Mogę wskazać stronę kontaktową”.
Potrzebny pracownik: „Ta sprawa wymaga sprawdzenia przez pracownika. Przekażę rozmowę wraz z dotychczasowymi informacjami”.

Zadbaj też o jasną granicę: jeśli odpowiedź nie wynika z dostępnych materiałów, chatbot ma to powiedzieć, zamiast uzupełniać lukę domysłem. W dokumentacji Google dla Dialogflow CX można skonfigurować odpowiedź awaryjną, gdy generowanie odpowiedzi się nie powiedzie; wówczas agent zwraca wcześniej przygotowany komunikat (dokumentacja Google o generatywnym fallbacku).

Krótka zasada na koniec

Dopytaj raz, wskaż źródło i sprawdź odpowiedź. Jeśli nadal nie ma pewności albo sprawa ma konsekwencje, poproś o pracownika. Dobry chat powinien jasno powiedzieć, gdzie kończą się jego możliwości, i pomóc użytkownikowi wykonać następny krok.