Początkiem roku ogłosiliście, że uruchamiacie polską odpowiedź na ChatGPT. Co zdecydowało, że postanowiliście stworzyć takie narzędzie?
Bartosz Baziński: W SentiOne od 12 lat rozwijamy swoje kompetencje w zakresie AI, budujemy własne algorytmy nauczania maszynowego, trenujemy własne modele AI, łącznie zainwestowaliśmy ponad 45 milionów zł w rozwój własnej sztucznej inteligencji — bycie częścią rewolucji generatywnej AI to był dla nas naturalny krok. W grudniu na rynku pojawił się publicznie dostępny ChatGPT i od razu zaczęliśmy zastanawiać się, jak go użyć, aby jeszcze mocniej wesprzeć nasze produkty, oraz czy możemy stworzyć podobną technologię własnymi rękami.
Czym narzędzie od SentiOne różni się od tego stworzonego przez OpenAI?
B.B.: Naszym założeniem było stworzenie LLM (large language model) takiego jak ChatGPT, ale odpowiedniego dla biznesu — czyli modeli językowych, które nie mają szansy konfabulować, rozpowszechniać fake newsów albo halucynować. Dodatkowo LLM-y SentiOne mogą być hostowane na prywatnych serwerach (on-premise), tak by zapewnić bezpieczeństwo przetwarzania i przechowywania danych. W rezultacie jest to świetne dopełnienie naszej oferty chatbotowej dla klientów typu enterprise, gdyż sama budowa bota i jego scenariuszy dialogowych została znacząco skrócona.
Jakie były główne wyzwania technologiczne związane z opracowaniem waszej generatywnej sztucznej inteligencji?
B.B.: Jednym z najważniejszych elementów budowy bota jest również zdefiniowanie mu odpowiedniej bazy wiedzy, z której pobiera informacje, które potem przekazuje klientom podczas rozmowy. W SentiOne mamy bardzo rozbudowaną funkcjonalność budowania bazy wiedzy dla bota: mogą to być informacje produktowe klienta, polityka bezpieczeństwa, regulaminy, cenniki usług itd. Dodatkowo trzeba pamiętać, że wszystkie narzędzia oparte o AI są dobre tylko na tyle, na ile ich dane uczące. Dlatego, aby usunąć zagrożenia związane z halucynacją, wprowadzaniem w błąd lub rozsiewaniem fake newsów, należy wyczyścić dane treningowe ze wszystkich ryzykownych elementów. W SentiOne czyścimy dane treningowe z obraźliwych treści, przyuczamy modele AI tak, aby ich wiedza była stale aktualizowana oraz odświeżana. Dodatkowo testujemy aktualnie nowe funkcje takie jak “unlearning modeli AI” — tak by modele AI mogły oduczyć się złych lub niepoprawnych treści.
W jaki sposób technologia LLM pozwoliła przyspieszyć proces tworzenia nowych botów z 3 dni do 3 godzin?
B.B.: Generatywną AI można wykorzystać, by dosłownie przyspieszyć pracę. W przypadku naszych botów generatywna AI jest w stanie stworzyć automatycznie wszystkie elementy potrzebne do ich budowy: przykładowe frazy, wypowiedzi, testowe zapytania lub słowa kluczowe służące do trenowania silnika języka naturalnego. Dzięki przyspieszeniu tworzenia wszystkich elementów budowy bota, zajmuje ona o 60-90% czasu mniej niż dotychczas. W rezultacie boty SentiOne są nadal są bardzo bezpieczne z punktu widzenia brandingu i biznesu — odpowiadają tylko na te zakresy tematyczne, które im wcześniej zdefiniowaliśmy, pobierają informacje ze wskazanych bazy wiedzy, nie wymyślają odpowiedzi, nie mają halucynacji. A jednocześnie, dzięki wsparciu generatywnej AI, odpowiadają pięknym oraz kreatywnym językiem, stają się coraz mniej robotyczne. Dzięki automatyzacji samej budowy bota, w SentiOne jesteśmy w stanie zbudować testowego / pilotażowego bota dla klienta już w ciągu kilku godzin.
Które firmy mogą skorzystać z oferty testowania nowego rozwiązania i co zyskają dzięki temu?
B.B.: Zapraszamy do testów wszystkie firmy, które widzą u siebie potrzebę automatyzacji procesów — obsługi klienta, wiadomości sprzedażowych, lub procesy wewnętrzne — w postaci automatycznego intranetu dla pracowników. Z wybranymi firmami zbudujemy testowe chatboty, oparte na technologii LLM. Wspólnie zbadamy skuteczność botów w pobieraniu informacji z bazy wiedzy. Przykładowo, do bazy wiedzy chatbota załadujemy kilka dokumentów na temat oferty firmy, jej polityki, cennik produktów itd., a następnie będziemy w stanie sprawdzić, na ile skutecznie bot wyciąga oraz interpretuje informacje z bazy wiedzy.
Czy mógłby Pan podać przykłady praktycznych zastosowań Waszej technologii w biznesie?
B.B.: Technologia jest bardzo młoda, w fazie beta, więc jesteśmy na etapie testowania. Niestety, produkcyjnie jeszcze żadna firma w Polsce nie używa żadnego LLM w swoich chatbotach, wedle naszej wiedzy. Ale w praktyce, modele typu LLM zrewolucjonizują wiele branży.
Jak technologia LLM radzi sobie z różnymi specyfikami branżowymi i na jakiej bazie danych jest trenowana?
B.B.: Jak widzimy na przykładzie otwarcie dostępnych LLM, takich jak tych od Open AI lub Mety, już takie generyczne modele odpowiadają imponująco. Natomiast po dostosowaniu technologii LLM do potrzeb biznesowych, przetrenowaniu na danych dziedzinowych z bankowości, na bezpośrednich danych od klienta (np. transkrypcje rozmów z call center, zapisy rozmów z Messengera i emaili) oparty na niej chatbot staje się bardzo zaawansowanym i wyuczonym konsultantem obsługi klienta i odciążeniem dla call center.
Jak technologia LLM radzi sobie z różnymi specyfikami branżowymi i na jakiej bazie danych jest trenowana?
B.B.: Jak widzimy na przykładzie otwarcie dostępnych LLM, takich jak tych od Open AI lub Mety, już takie generyczne modele odpowiadają imponująco. Natomiast po dostosowaniu technologii LLM do potrzeb biznesowych, przetrenowaniu na danych dziedzinowych z bankowości, na bezpośrednich danych od klienta (np. transkrypcje rozmów z call center, zapisy rozmów z Messengera i emaili) oparty na niej chatbot staje się bardzo zaawansowanym i wyuczonym konsultantem obsługi klienta i odciążeniem dla call center.
W jaki sposób technologia LLM zapewnia bezpieczeństwo danych, zwłaszcza w kontekście możliwości wdrożenia rozwiązania on-premise?
B.B.: I tutaj należy rozróżnić powszechnie dostępny i otwarty ChatGPT, który aktualnie zmaga się z dużymi problemami bezpieczeństwa. Korzystanie z zewnętrznych LLM typu OpenAI stanowi ryzyko, bo dane mogą wyciekać w niekontrolowany sposób i ciężko jest stwierdzić, co się z nimi dzieje Ostatnio HackerNews raportował, że ponad 101 tysięcy danych logowania do kont OpenAI wyciekło i znalazło się na nielegalnych platformach Dark Web między majem 2022 a czerwcem 2023. Tak więc wdrożenia on-premise to na razie jedyny sposób na zagwarantowanie bezpieczeństwa. Przede wszystkim, wdrożenie on-premise oznacza, że wszystkie dane przetwarzane przez system LLM pozostają w sieci wewnętrznej klienta. To eliminuje ryzyko utraty danych podczas transmisji przez publiczne sieci internetowe. Użytkownicy wysyłają do LLM dane, łącznie z danymi osobowymi. Dlatego system LLM jest zaprojektowany tak, aby bezpiecznie przechowywać wszystkie generowane dialogi, w tym logi. Technologia LLM może być wyposażona w wykrywacz halucynacji, który służy do weryfikacji generowanych numerów, adresów i innych danych. To zapewnia dodatkową warstwę ochrony przed przypadkowym lub niezamierzonym ujawnieniem poufnych informacji. Zaawansowane mechanizmy szyfrowania stosowane w technologii LLM chronią dane w trakcie przechowywania i transmisji. Zastosowanie silnego szyfrowania zapewnia, że nawet w przypadku potencjalnego naruszenia bezpieczeństwa, dane użytkowników pozostaną niedostępne dla nieuprawnionych osób. Technologia LLM może być w pełni zintegrowana z istniejącymi systemami bezpieczeństwa przedsiębiorstwa. To oznacza, że wszystkie funkcje związane z ochroną danych, takie jak zarządzanie tożsamością i dostępem, detekcja anomalii, czy ochrona przed zagrożeniami zewnętrznymi, mogą być nadal obsługiwane przez sprawdzone, zaufane rozwiązania, które już są w użyciu w organizacji.
Jaki jest zakres geograficzny Waszej obecnej działalności i jakie są plany na przyszłość, zwłaszcza związane z ekspansją technologii LLM na inne rynki?
B.B.: Modele large language tworzymy po kolei na język angielski oraz polski, i na nich się skupiamy. Natomiast cały czas mamy bardzo sprawdzone i działające modele konwersacyjnej sztucznej inteligencji, oparte na silniku rozumienia języka naturalnego dla ponad 17 języków, w tym dla większości języków europejskich oraz arabskiego. Jeśli chodzi o ekspansję zagraniczną, cały czas działamy na rynku Bliskiego Wschodu w partnerstwie z największą tamtejszą firmą telekomunikacyjną — Etisalat — która daje nam dostęp do swoich klientów biznesowych na 16 rynkach. Aktywnie sprzedajemy nasze rozwiązania chatbotowe w Europie zachodniej — Niemczech, Hiszpanii, Francji i Włoszech. Dodatkowo w tym roku otworzyliśmy biuro w Londynie, zatrudniliśmy trzech sprzedawców na UK i planujemy znacząco zwiększyć swoje przychody z tego rynku.
