Przed pierwszym wdrożeniem, przy odbiorze od dostawcy oraz po zmianie modelu, instrukcji, narzędzi lub integracji. Współpracuję z firmami, software house’ami i agencjami, które potrzebują sprawdzalnych kryteriów odbioru zamiast samej prezentacji rozmowy.
Zakres
Co obejmują testy?
Rozmowa i stan systemu
Sprawdzam zgodność odpowiedzi agenta z rzeczywistym wynikiem: rezerwacją, wpisem w CRM lub inną uzgodnioną akcją. Tam, gdzie to możliwe, wynik weryfikuję przez API lub dane środowiska testowego.
Zmiana zdania i brak danych
Scenariusze obejmują między innymi zmianę terminu, anulowanie, niepełne informacje i powtórzenie prośby. Szukam sprzecznych danych, niepotrzebnych duplikatów i utraty kontekstu.
Awaria integracji
Sprawdzam zachowanie przy błędzie API, braku odpowiedzi lub ograniczeniu dostępu. Agent powinien komunikować rzeczywisty stan wykonania zadania i respektować uzgodnione reguły przekazania sprawy człowiekowi.
Regresja po aktualizacji
Wybrane scenariusze można uruchamiać ponownie po zmianach. Zakres powtórzeń i kryteria oceny ustalamy z uwzględnieniem zmienności odpowiedzi modelu oraz kosztu uruchomień.
Testy agentów głosowych i tekstowych
Agent mówi „gotowe”. Sprawdzam, czy to prawda.
Sprawdzam, czy agent AI naprawdę wykonał to, co obiecał. Dostajesz listę błędów i wskazówki, co poprawić przed wdrożeniem.
Przykład działania
Rozmowa to dopiero połowa testu.
Przykład demonstracyjny, nie wynik projektu klienta
Klient
Zarezerwuj wizytę na wtorek o 10:00.
Agent AI
Gotowe, wizyta zarezerwowana.
Sprawdzam system
Kalendarz
×Brak rezerwacji
×Test niezaliczony
Agent potwierdził czynność, której nie wykonał.
Kalendarz
✓Wtorek, 10:00 · zapisano
✓Test zaliczony
Termin i dane w systemie zgadzają się z rozmową.
Fragment przykładowego raportu
Tak wygląda wynik, z którym można pracować.
AI-014 · Rezerwacja wizyty
Wysoki priorytet
Odtwórz
Poproś agenta o wizytę we wtorek o 10:00.
Oczekiwano
Rezerwacja zapisana w kalendarzu.
Wykryto
Potwierdzenie w rozmowie, brak zapisu.
Następny krok
Popraw obsługę odpowiedzi API i powtórz test.
AI-014 · Rezerwacja wizyty
Poprawka zweryfikowana
Odtwórz
Poproś agenta o wizytę we wtorek o 10:00.
Oczekiwano
Rezerwacja zapisana w kalendarzu.
Wykryto
Prawidłowy termin i dane w systemie.
Następny krok
Zachowaj scenariusz w testach regresji.
Sprawdź zwrot w interaktywnym labie: zmieniaj klocki workflow i ich wartości.
Ceny bazowe netto w PLN. Zakres i cenę potwierdzamy w ofercie. Koszty modeli, telefonii i platform są rozliczane osobno, w uzgodnionym limicie.
Do testów potrzebny jest działający agent i uzgodnione środowisko testowe. Większe poprawki wyceniam osobno.
Współpraca
Od kryteriów odbioru do listy poprawek
Ustalamy cel i granice
Wybieramy proces, integracje, środowisko oraz działania, które agent może wykonać. Uzgadniamy oczekiwany wynik, dane testowe i limit kosztów modeli lub telefonii.
Uruchamiam uzgodnione scenariusze
Odtwarzam poprawny przebieg i sytuacje brzegowe. Wybrane przypadki powtarzam, aby wykryć niestabilne zachowanie. Przebieg oraz wynik dokumentuję w zakresie uzgodnionych dostępów.
Omawiamy wyniki
Dostajesz raport z priorytetami, krokami odtworzenia i oczekiwanym wynikiem. Ustalamy kolejność poprawek oraz zakres ich ponownej weryfikacji.
Przekazanie
Co otrzymujesz?
Uzgodnione scenariusze oraz kryteria zaliczenia.
Listę wykrytych problemów z priorytetami i odtworzeniem.
Omówienie wyników oraz rekomendowaną kolejność poprawek.
Przy automatyzacji: testy regresji, raportowanie i instrukcję uruchomienia w uzgodnionym środowisku.
Ustalenia
Jasny zakres, sprawdzalne wyniki
Testy obejmują uzgodnione scenariusze i dostępne integracje. Nie są certyfikacją bezpieczeństwa. Liczbę powtórzeń, dostęp do systemów i zakres CI/CD ustalamy na starcie, na danych i w środowisku testowym.
Jak dobrać zakres?
Zwykle zaczynamy od jednorazowego audytu. Gdy scenariusze się sprawdzą, automatyzujemy regresję albo ustalamy stałą weryfikację po zmianach.
Tak. Dla agentów głosowych zakres obejmuje przebieg rozmowy i działania w systemach. Scenariusze, dostęp do telefonii oraz koszty platform ustalamy przed rozpoczęciem.
Czym różni się test agenta od oceny odpowiedzi?
Ocena odpowiedzi sprawdza to, co agent powiedział. Test zadania sprawdza także, czy wykonał właściwą operację, zapisał poprawne dane i prawidłowo obsłużył błąd.
Od czego zależy cena?
Od liczby scenariuszy, integracji, dostępu do środowiska i zakresu automatyzacji. Pakiety i bazowe ceny są na tej stronie; finalny zakres potwierdzamy w ofercie.
Zacznijmy od problemu
Porozmawiajmy.
Opowiedz, co Twój agent ma wykonać. W wiadomości podaj proces, platformę, integracje i planowany termin odbioru. To wystarczy, żeby zacząć ustalanie zakresu.
