Auditor™ – redukcja 57% kosztów utrzymania AI

AI Governance to dla przeciętnego europejskiego banku koszt średnio pół miliona złotych rocznie za każdy model. Problem ten można rozwiązać poprzez automatyzację procesów testowania, monitorowania, dostrajania, raportowania i audytu AI.

sektor
bankowość
kraj
Polska
ekspertów
3
współpraca
2024 – obecnie

Kontekst biznesowy

Klient z sektora finansowego rozwijał zaawansowane aplikacje AI, m.in. modele generatywne i klasyczne. W związku z nadchodzącymi wymogami AI Act oraz chęcią uzyskania certyfikacji ISO 42001, konieczne było ustandaryzowanie, automatyzacja i kontrola nad audytem wewnętrznym oraz zgodnością działania systemów AI.

Z czym zmagał się klient:

  • Wysokie koszty obsługi błędów, poprawy jakości i audytu systemów AI.
  • Niska skalowalność manualnych procesów testowania i compliance.
  • Konieczność dokumentowania zgodności z regulacjami, w tym AI Act.

Najważniejsze liczby

57%
redukcji kosztów
864 564
szacowana liczba potencjalnych incydentów do wyeliminowania rocznie

Koszty AI Governance

Na koszt obsługi AI Governance w organizacji składają się następujące elementy:

    • Koszty obsługi testów

      Obsługa i wytwarzanie przypadków testowych dla potencjalnych błędów i przypadków brzegowych – koszty testerów obsługujących aplikacje AI. Tutaj mowa przede wszystkim o testach manualnych, weryfikujących różne scenariusze, w których może wydarzyć się błąd przy komunikacji z modelem AI.

    • Koszty obsługi modeli i incydentów AI

      Obsługa wyników testów i przygotowanie datasetów do optymalizacji modeli AI i RAG. Nadzór nad zachowaniem modelu i identyfikacja incydentów. To standardowo koszty osobowe związane z rolami Data Science i MLOps, którzy zostali oddelegowani do tego aby nie tylko nadzorować aplikacje AI ale również usprawniać ich działanie.

    • Koszty compliance

      Obsługa raportów błędów przez zespół compliance i weryfikacja zgodności z regulacjami. Generowanie raportów incydentów. Te koszty ponosi dział compliance, odpowiedzialny za odebranie raportów od działu Data Science, testów i MLOps,

    • Koszty inwentaryzacji procesu

      Szacunkowy, roczny koszt osobowy związany z przygotowaniem procesu (identyfikacja wymagań regulacyjnych, analiza dokumentacji, umów, przegląd danych historycznych) – koszt specjalistów compliance oddelegowanych do tego procesu.

    • Koszty data governance i gromadzenia dowodów

      Szacunkowy koszt roczny osobowy związany ze zbieraniem i organizacja danych do audytu (Dane wejścia i wyjścia, testy modelu AI, Zgromadzenie dowodów na zgodność z AI Act). Standardowo jest to koszt osobowy związany z rolami Data Science i MLOps.

    • Koszty audytu wewnętrznego

      Szacunkowy koszt roczny osobowy związany z audytem wewnetrznym (testy zgodności, wpływ na użytkownika, weryfikacja procesu decyzyjnego) – koszt specjalistów compliance oddelegowanych do tego procesu.

    Metodologia estymacji kosztów AI Governance

    Zespół Speednet dokonał estymacji kosztów AI Governance dla pojedynczego systemu AI na bazie danych dostarczonych nam przez klienta w specjalnie przygotowanej ankiecie.

    Prawdopodobieństwo wystąpienia przynajmniej jednego z błędów obliczane jest za pomocą znormalizowanych prawdopodobieństw występowania każdego z nich:

    Źródła do obliczeń prawdopodobieństw:

    Na podstawie obliczonej wartości prawdopodobieństwa występowania min. 1 błędu/zapytania, znając wolumen zapytań podany w ankiecie, możemy obliczyć liczbę spodziewanych błędów dla każdego z systemów w ciągu roku. Poniżej przykład szacowanej liczby błędów rocznie ze spodziewaną liczbą requestów miesięcznie na poziomie 800 tys.

    Należy w tym miejscu podkreślić, iż jest to minimalna, spodziewana liczba losowych błędów z pośród wykrywalnych błędów wymienionych w liście powyżej. Nie wszystkie błędy w tym zbiorze będą krytyczne, niektóre z nich mogą stanowić jedynie o kosmetyce i jakości odpowiedzi.

    Estymacja liczby błędów służy jako podstawa do oszacowania kosztów osobowych obsługi testów i błędów. Aby oszacować koszt, najpierw obliczany jest aktualny, rzeczywisty współczynnik kosztu obsługi pojedynczego błędu, na podstawie danych z ankiety.

    Koszt obsługi błędu jest różny dla każdego rodzaju obsługi: na poziomie testów, na poziomie compliance i na poziomie Data Science i MLOps. Obecna sytuacja, ze względu na brak automatyzacji procesu, nie pozwala na zidentyfikowanie i obsłużenie wszystkich potencjalnych błędów. Znając współczynniki kosztów, możemy wyliczyć koszt obsługi dla oszacowanej wcześniej rocznej liczby wszystkich błędów.

    Koszt obsługi wszystkich błędów wyliczany jest poprzez funkcję logarytmu o optymalnym do rodzaju kosztu współczynniku. Dzieje się tak, ponieważ liczba nowych przypadków brzegowych/testowych rośnie logarytmicznie w stosunku do liczby błędów. Liczba nowych, szczególnych przypadków błędów (nie pokrytych wcześniej przez stworzone przypadki testowe) nie skaluje się liniowo razem z liczbą requestów. Najwięcej nowych błędów i przypadków brzegowych zawsze będzie na samym początku życia danego systemu AI, a im więcej danych przepływać będzie przez system, tym większe prawdopodobieństwo powtarzania się tych samych lub podobnych błędów.

    W kolejnym kroku obliczane są koszty osobowe audytu, związane ściśle z potrzebami compliance na tle AI Act. Koszty te są podobne dla każdej aplikacji i zależą w głównej mierze od stopnia skomplikowania architektury systemu, objętości dokumentacji, łańcucha dostawców i wielu innych kwestii. Na potrzeby estymacji, przyjęliśmy założenia względem czasu potrzebnego na wykonanie poszczególnych etapów audytu.

    Założony czas miesięczny potrzebny na wykonanie poszczególnych etapów audytu został podany na podstawie danych działów compliance naszych klientów oraz partnerskich kancelarii prawnych, które świadczą usługi audytu systemów AI. Obliczenie poszczególnych kosztów odbywa się przy uwzględnieniu liczby obecnie zatrudnionych osób na poszczególne stanowiska u naszego klienta, tj. zakładając wprost “jak długo zająłby ten proces dzisiaj”. Mając obliczoną czasochłonność procesu, możemy obliczyć jego koszt wykorzystując stawki kosztowe ujęte w ankiecie, którą otrzymaliśmy od klienta (zakładając stawki rynkowe).

    Poniżej znajduje się przykład obliczonych kosztów osobowych związanych z przygotowaniem do audytu oraz audytem wewnętrznym pojedynczego systemu AI.

    Zautomatyzowane funkcje Audytora pozwalają na ograniczenie kosztu związanego z inwentaryzacją procesu oraz audytu wewnętrznego o 90%, natomiast całkowicie niwelują koszty związane z gromadzeniem danych i dowodów.

    Porównanie kosztów

    Poniżej przedstawiamy zestawienie kosztów związanych z obsługą AI Governance dla podanego systemu bez odpowiedniego narzędzia oraz z wykorzystaniem Speednet Audytora.

    Szacowana, roczna liczba błędów do obsługi: 864 564.

    Rezultaty

    • Redukcja całkowitych kosztów AI Governance o ponad 57% w skali roku.
    • Skrócenie czasu potrzebnego na inwentaryzację procesów i audyt wewnętrzny o 90%.
    • Całkowita eliminacja kosztów związanych ze zbieraniem danych i dowodów zgodności.

    Podsumowanie

    Audytor pozwolił klientowi z sektora finansowego skutecznie przygotować się na wymagania AI Act i ISO 42001. Dzięki automatyzacji najkosztowniejszych procesów udało się zredukować koszty o ponad połowę i znacznie skrócić czas wymagany na działania audytowe.

    Szukasz rozwiązań związanych z AI Governance?

    Zobacz jak możemy Ci pomóc!

    Tymoteusz Olszewski Head of AI

      Twoje dane osobowe będą przetwarzane w celu obsługi Twojego zapytania, a ich administratorem będzie SPEEDNET sp. z o.o. z siedzibą w Gdańsku. Pozostałe informacje dotyczące przetwarzania danych osobowych, w tym informacje o przysługujących Ci prawach, znajdziesz w naszej polityce prywatności.