Zbudowaliśmy w trójkę narzędzie AI do researchu i strategii dla marketerów, z którego przez trzy lata skorzystało 55 tysięcy osób ze 145 krajów, przy zerowym budżecie marketingowym i bez ani jednej złotówki od inwestora. Pod koniec marca je wyłączyliśmy. Nasi najlepsi użytkownicy zaczęli budować własne, gorsze wersje tego samego, żeby nie oddawać nikomu kontroli nad procesem. Tym samym przestali być rynkiem.
Ta historia jest o czymś, czego nauczyłem się przy okazji i czego potem, mając już komplet danych, nie umiałem zastosować. Narzędzie, które stoi nieużywane, prawie zawsze stoi z jednego z dwóch powodów. Albo ludzie nie umieją go zacząć używać, bo prawdziwy proces wygląda inaczej niż ten opisany w instrukcji. Albo ktoś na tym traci. Objawy są w obu przypadkach identyczne, postępowanie zupełnie różne. To pomylenie kosztowało mnie dwa projekty. W pierwszym trafiłem na właściwe rozwiązanie, nie rozumiejąc, dlaczego zadziałało, a w drugim, uzbrojony we wnioski z pierwszego, wybrałem tak samo źle.
Pierwszy przypadek: użytkownicy, którzy nie wiedzieli, od czego zacząć
Adaily zaczęło się tak, jak zaczyna dzisiaj większość wdrożeń AI, czyli od otwartego czatu. Puste pole, migający kursor i zaproszenie: zapytaj o swoją markę, o konkurenta, o kategorię, zawęź krajem i rokiem. Pod spodem siedziało dwa tysiące trzysta wyselekcjonowanych, nagrodzonych kampanii w trzynastu językach. W statystykach wyglądało to jednoznacznie i codziennie tak samo: pierwsze wejście, pierwszy ekran, wyjście.
Przez pół roku poprawialiśmy model. Uznaliśmy, że jest za słaby, że podpowiedzi są za mało konkretne, że trzeba dołożyć przykładowe zapytania i lepiej opisać, co narzędzie w ogóle potrafi. Byliśmy firmą technologiczną i poprawianie technologii było jedynym narzędziem, jakie mieliśmy w ręku. A kiedy jedyne, co potrafisz, to poprawianie modelu, każdy problem zaczyna wyglądać na problem z modelem.
Tymczasem ci ludzie nie przychodzili oceniać technologii, która dopiero raczkuje. Przyszli nie po spektrum możliwości, tylko po gotową robotę. A puste pole jest pytaniem zadanym komuś, kto przyszedł po odpowiedź. Byłem zresztą od początku sceptyczny wobec tezy, że ludzie muszą się nauczyć promptować. Nikt w latach dziewięćdziesiątych nie oczekiwał, że żeby korzystać z arkusza kalkulacyjnego, trzeba najpierw nauczyć się programować.
Pod koniec 2023 roku wyrzuciliśmy czat w całości. Zamiast rozmowy użytkownik dostawał listę wyników, a później po prostu trzy pola: marka, kraj i opcjonalny opis projektu. Nic więcej nie musiał wiedzieć. Ludzie natychmiast zaczęli dochodzić do wyniku i wracać po kolejny i kolejny. Pod spodem pracował dokładnie ten sam model, ta sama technologia, ten sam koszt zapytania. Zmieniła się tylko liczba decyzji, które zrzucaliśmy na człowieka w pierwszej minucie.
Czat wrócił dopiero dwa lata później, jako osobna funkcja. Można było zapytać o wszystko, ale dopiero wtedy, kiedy było już o czym rozmawiać.
Zapisałem to sobie wtedy jako lekcję o interfejsie. To była zła etykieta i dlatego nie zadziałała następnym razem.
Drugi przypadek: zespół, który miał coś do stracenia
Kilkanaście miesięcy później wdrażałem narzędzie przerabiające brief klienta na kosztorys. Zapytałem najpierw, jak ta praca wygląda naprawdę. Jeden z ekspertów opisał to tak: siedem wycen naraz, przy jednoczesnym robieniu innych rzeczy, a liczby, cytuję, wyssane z palca, bo połowę założeń poznaje się dopiero w trakcie. Średnio dzień roboczy na jedną, czasem dwa albo trzy.
Każda taka wycena jest inna i nie da się jej odczytać z cennika. Ten sam człowiek wyjaśnił mi, dlaczego: ktoś, kto od dziesięciu lat wycenia ten sam typ projektu, i ktoś, kto trafia na niego pierwszy raz, podejdą do tego zupełnie inaczej. Jeden robi bufory, drugi ryzykuje.
Powiedzieli mi też, czego chcą. Cytat z tamtej rozmowy: żebym sobie już tylko sprawdzał, a nie musiał wymyślać za każdym razem.
Zastosowałem lekcję z Adaily i zbudowałem dokładnie to, o co poprosili. Żadnego pustego pola, jasna ścieżka od briefu do gotowej wyceny, kroki o ustalonej strukturze. Technologia działała od pierwszego dnia.
Zespół zbojkotował narzędzie, gdy tylko dostał je do rąk.
Interfejsu nie dało się już obwinić, więc obwiniłem opór przed zmianą. Wygodne i całkowicie błędne. Ci ludzie budowali swoje wyczucie wyceny latami i wiedzieli rzeczy, których nie było w żadnej procedurze: kiedy dorzucić bufor, bo ten konkretny klient zawsze zmienia zakres w połowie projektu, i kiedy zejść z ceny, bo warto wejść w relację, która zwróci się przy trzecim zleceniu. Dokładnie za to byli w firmie szanowani. Pokazując im, że maszyna robi to samo w minutę, wysłałem komunikat zupełnie inny od zamierzonego: dla mnie to było wsparcie, dla nich wycena tego, co przez lata było ich jedyną przewagą.
Bronili się zresztą w sposób, który brzmiał wtedy zupełnie rozsądnie: pokażcie, skąd narzędzie wzięło tę liczbę, chcemy widzieć rozumowanie przy każdej pozycji. Dokładałem więc kolejne wyjaśnienia, a narzędzie stało. Ten warunek nigdy nie był o wyjaśnieniach.
Co je odróżnia
To są dwa przypadki, oba z mojego doświadczenia. Nie jest to badanie, tylko dwie anegdoty. Zdaję sobie też sprawę, że bywają wdrożenia, w których technologia rzeczywiście jest całą przeszkodą i wystarczy ją usunąć, żeby wszystko ruszyło. Twierdzę jedynie, że takich sytuacji jest wyraźnie mniej, niż się zakłada, a w pozostałych mylimy ze sobą dwie zupełnie różne rzeczy.
Pierwszą z nich jest wiedza. Zautomatyzowałeś proces opisany w instrukcji, tyle że instrukcja rzadko opisuje ten prawdziwy, bo prawdziwy siedzi w głowie jednej osoby i składa się głównie z wyjątków. Model wyjaśni ci przekonująco, dlaczego spadła marża na linii produktowej. Nie ma jednak pojęcia, że rabaty księgujecie miesiąc później, przez co kolejnych kwartałów nie da się uczciwie zestawić, ani tego, że jedyny klient wystarczająco duży, żeby wpłynąć na ten wynik, ma wyjątek cenowy, którego nikt nigdy nie zapisał. Za każdym razem, kiedy próbowałem sobie tę robotę skrócić ankietą zamiast usiąść obok kogoś i popatrzeć, automatyzowałem coś, czego nie ma.
Drugą jest interes. Rzadko chodzi o to, o czym się mówi na konferencjach. Najczęściej chodzi o zwykły rachunek, który każdy pracownik robi sobie w głowie w pierwszej minucie prezentacji: jeżeli zrobię to szybciej, dostanę do zrobienia więcej za te same pieniądze, więc przyspieszenie nie jest dla mnie żadną wartością, tylko kosztem. Czasem chodzi o pozycję, tak jak w tamtym zespole, który bronił jedynej rzeczy czyniącej go niezastąpionym. A bywa i tak, że narzędzie jest po prostu za dobre i właśnie dlatego przerażające. Ten opór prawie nigdy nie brzmi jak strach przed AI i prawie zawsze przychodzi w postaci warunków, które brzmią rozsądnie i których nie da się spełnić.
Rozróżnienie ma znaczenie czysto praktyczne, bo postępowanie jest w obu przypadkach inne. Przy problemie z wiedzą pomaga czas spędzony obok ludzi przy ich robocie, a nie kolejna ankieta, bo ankieta zwraca instrukcję, a nie proces. Przy problemie z interesem nie pomoże żadne szkolenie ani demo, ponieważ ta osoba nie ma czego się nauczyć. Ona już wie.
Test
Zanim cokolwiek wdrożysz, przestań pytać, dlaczego ludzie mieliby tego używać. Zapytaj, dlaczego mieliby nie chcieć i kto w firmie coś na tym traci, jeżeli się uda. To pytanie jest trudniejsze i jako jedyne daje odpowiedź przed wdrożeniem, a nie po nim.
Jeżeli odpowiedź brzmi „nikt", masz przed sobą pierwszy przypadek i najprawdopodobniej wystarczą dwa dni spędzone obok osoby, która zna wyjątki. Jeżeli natomiast w odpowiedzi pojawia się konkretne nazwisko, masz drugi i musisz zacząć od rozmowy o tym, co dla tej osoby z całej zmiany zostaje.
Zadałem to pytanie tamtemu zespołowi dopiero po bojkocie, choć tydzień wcześniej dostałbym tę samą odpowiedź w pierwszej minucie. Liczyliśmy, że proces zajmujący dzień roboczy zejdzie do trzydziestu minut. W tym rachunku nie było jednak tego, co tracą eksperci, którzy poczuli zagrożenie dla swojej pozycji, bo AI potrafi odtworzyć ich heurystyki, traktowane dotąd jako wiedza tajemna.
Za tę jedną lekcję zapłaciłem dwa razy i za każdym razem inaczej. Najpierw trzema latami, własnymi oszczędnościami włożonymi w pierwszy prototyp, niedoszłą sprzedażą produktu na samym końcu i dwoma ludźmi, którzy przez cały ten czas pracowali za pomysł, a nie za pensję. Potem projektem, w którym miałem już wszystkie dane i mimo to zapytałem o tydzień za późno.
