Kontekst biznesowy

Klient z sektora finansowego rozwijał zaawansowane aplikacje AI, m.in. modele generatywne i klasyczne. W związku z nadchodzącymi wymogami AI Act oraz chęcią uzyskania certyfikacji ISO 42001, konieczne było ustandaryzowanie, automatyzacja i kontrola nad audytem wewnętrznym oraz zgodnością działania systemów AI.

Z czym zmagał się klient:

• Wysokie koszty obsługi błędów, poprawy jakości i audytu systemów AI.
• Niska skalowalność manualnych procesów testowania i compliance.
• Konieczność dokumentowania zgodności z regulacjami, w tym AI Act.

Metodologia estymacji kosztów AI Governance

Zespół Speednet dokonał estymacji kosztów AI Governance dla pojedynczego systemu AI na bazie danych dostarczonych nam przez klienta w specjalnie przygotowanej ankiecie.

Prawdopodobieństwo wystąpienia przynajmniej jednego z błędów obliczane jest za pomocą znormalizowanych prawdopodobieństw występowania każdego z nich:

Źródła do obliczeń prawdopodobieństw:

Na podstawie obliczonej wartości prawdopodobieństwa występowania min. 1 błędu/zapytania, znając wolumen zapytań podany w ankiecie, możemy obliczyć liczbę spodziewanych błędów dla każdego z systemów w ciągu roku. Poniżej przykład szacowanej liczby błędów rocznie ze spodziewaną liczbą requestów miesięcznie na poziomie 800 tys.

Należy w tym miejscu podkreślić, iż jest to minimalna, spodziewana liczba losowych błędów z pośród wykrywalnych błędów wymienionych w liście powyżej. Nie wszystkie błędy w tym zbiorze będą krytyczne, niektóre z nich mogą stanowić jedynie o kosmetyce i jakości odpowiedzi.

Estymacja liczby błędów służy jako podstawa do oszacowania kosztów osobowych obsługi testów i błędów. Aby oszacować koszt, najpierw obliczany jest aktualny, rzeczywisty współczynnik kosztu obsługi pojedynczego błędu, na podstawie danych z ankiety.

Koszt obsługi błędu jest różny dla każdego rodzaju obsługi: na poziomie testów, na poziomie compliance i na poziomie Data Science i MLOps. Obecna sytuacja, ze względu na brak automatyzacji procesu, nie pozwala na zidentyfikowanie i obsłużenie wszystkich potencjalnych błędów. Znając współczynniki kosztów, możemy wyliczyć koszt obsługi dla oszacowanej wcześniej rocznej liczby wszystkich błędów.

Koszt obsługi wszystkich błędów wyliczany jest poprzez funkcję logarytmu o optymalnym do rodzaju kosztu współczynniku. Dzieje się tak, ponieważ liczba nowych przypadków brzegowych/testowych rośnie logarytmicznie w stosunku do liczby błędów. Liczba nowych, szczególnych przypadków błędów (nie pokrytych wcześniej przez stworzone przypadki testowe) nie skaluje się liniowo razem z liczbą requestów. Najwięcej nowych błędów i przypadków brzegowych zawsze będzie na samym początku życia danego systemu AI, a im więcej danych przepływać będzie przez system, tym większe prawdopodobieństwo powtarzania się tych samych lub podobnych błędów.

W kolejnym kroku obliczane są koszty osobowe audytu, związane ściśle z potrzebami compliance na tle AI Act. Koszty te są podobne dla każdej aplikacji i zależą w głównej mierze od stopnia skomplikowania architektury systemu, objętości dokumentacji, łańcucha dostawców i wielu innych kwestii. Na potrzeby estymacji, przyjęliśmy założenia względem czasu potrzebnego na wykonanie poszczególnych etapów audytu.

Założony czas miesięczny potrzebny na wykonanie poszczególnych etapów audytu został podany na podstawie danych działów compliance naszych klientów oraz partnerskich kancelarii prawnych, które świadczą usługi audytu systemów AI. Obliczenie poszczególnych kosztów odbywa się przy uwzględnieniu liczby obecnie zatrudnionych osób na poszczególne stanowiska u naszego klienta, tj. zakładając wprost “jak długo zająłby ten proces dzisiaj”. Mając obliczoną czasochłonność procesu, możemy obliczyć jego koszt wykorzystując stawki kosztowe ujęte w ankiecie, którą otrzymaliśmy od klienta (zakładając stawki rynkowe).

Poniżej znajduje się przykład obliczonych kosztów osobowych związanych z przygotowaniem do audytu oraz audytem wewnętrznym pojedynczego systemu AI.

Zautomatyzowane funkcje Audytora pozwalają na ograniczenie kosztu związanego z inwentaryzacją procesu oraz audytu wewnętrznego o 90%, natomiast całkowicie niwelują koszty związane z gromadzeniem danych i dowodów.

Porównanie kosztów

Poniżej przedstawiamy zestawienie kosztów związanych z obsługą AI Governance dla podanego systemu bez odpowiedniego narzędzia oraz z wykorzystaniem Speednet Audytora.

Szacowana, roczna liczba błędów do obsługi: 864 564.

Rezultaty

• Redukcja całkowitych kosztów AI Governance o ponad 57% w skali roku.
• Skrócenie czasu potrzebnego na inwentaryzację procesów i audyt wewnętrzny o 90%.
• Całkowita eliminacja kosztów związanych ze zbieraniem danych i dowodów zgodności.