Warsztaty w Bergen ujawniły lukę w nadzorze nad AI

W ostatnim tygodniu października w Bergen odbyło się spotkanie w formacie Lunch & Learn zatytułowane “AI Compliance i praksis”, czyli zgodność AI w praktyce. Uczestniczyli w nim przedstawiciele sektorów takich jak bankowość, fintech i ubezpieczenia. Warsztaty zorganizowało Finance Innovation Norway we współpracy z PwC, Speednet i Dark Horse.

Spotkanie było próbą odpowiedzi na pytanie, w którym kierunku powinno ewoluować podejście firm do regulacji. Aby oprzeć dyskusję na konkretnych danych, przeprowadziliśmy ankietę wśród uczestników. Jej wyniki wskazały na znaczną dojrzałość w tworzeniu polityk, jednocześnie pokazując krytyczną lukę w monitorowaniu systemów AI w czasie rzeczywistym.

Norweskie firmy piszą zasady, ale nie widzą sygnałów alarmowych

Ponad 65% respondentów stwierdziło, że ich firma posiada wewnętrzną politykę AI lub ramy zarządzania. To mocny sygnał, który pokazuje, że norweskie firmy rozumieją znaczenie proaktywnego nadzoru nad AI.

Jednak zapytani, czy byliby w stanie natychmiast wykryć fakt, że jeden z ich systemów AI przestał działać (bez widocznych objawów), tylko 17% odpowiedziało twierdząco.

Wskazuje to na niebezpieczną lukę. Organizacje posiadają regulacje, ale gdy model zacznie generować wadliwe wyniki, dowiedzą się o tym dopiero po fakcie, czyli wtedy, gdy negatywne skutki będą już widoczne dla wszystkich.

Incydenty AI kosztują nie tylko kary, ale przede wszystkim zaufanie

Dla 83% ankietowanych ryzyko AI wykracza poza kwestię kar. To przede wszystkim kwestia ochrony zaufania.

Co istotne, mówimy tu o zaufaniu zarówno klientów (aspekt zewnętrzny), jak i własnych zespołów (aspekt wewnętrzny). W rozmowie z klientami chatbot udzielający złych porad lub model, który po cichu zaczyna dyskryminować pewne grupy, mogą w ciągu kilku dni nadszarpnąć zaufanie oraz zniweczyć lojalność klientów.

Wewnątrz samej organizacji stawka jest równie wysoka. Gdy system AI wymknie się spod kontroli, może to wywołać pewien opór wśród członków zespołu, opóźnić krytyczne wdrożenia, sprawiając, że nasza firma będzie miała problemy ze zgodnością. Efekt? Całkowite lub częściowe wstrzymanie wprowadzania innowacji przez naszą organizację. Gdy zaufanie wewnątrz organizacji zostanie utracone, AI staje się ryzykiem, a nie przewagą.

Niewiele firm wie, kiedy ich AI działa nieprawidłowo

Większość firm uczestniczących w spotkaniu zmierza we właściwym kierunku na poziomie polityk. Jednak prawie żadna nie posiada wdrożonego monitorowania w czasie rzeczywistym ani monitorowania behawioralnego.

Oznacza to, że gdy coś pójdzie nie tak – a z pewnością kiedyś to nastąpi – większość nie będzie o tym wiedzieć, a o incydencie dowie się wtedy, gdy będzie już za późno. To prowadzi nas do jednego z najważniejszych pytań. Zapytaliśmy uczestników, aby ocenili prawdopodobieństwo wystąpienia incydentu AI w ich organizacjach. Okazuje się, że nikt tego nie wykluczył. Ten fakt powinien dać nam wiele do myślenia.

Dlatego pytanie po prostu należy przeformułować i zamiast “Czy system AI popełni błąd?”, powinniśmy pytać: “Kiedy to nastąpi?”.

Co istotne, najnowsze badania potwierdzają nasze wnioski. Raport Instytutu AI Uniwersytetu Stanforda (HAI) z 2024 r. wykazał, że każdy testowany system AI działający w środowisku produkcyjnym w ciągu 12 miesięcy wykazywał co najmniej jeden dryf behawioralny lub spadek wydajności. Obejmowały one zarówno subtelną stronniczość danych, jak i całkowitą niezgodność z celem biznesowym. Brak ciągłego monitoringu uniemożliwia wykrycie tego dryfu.

Co zatem stoi na przeszkodzie we wdrożeniu nadzoru?

Odpowiedzi uczestników wskazują na kilka powtarzających się problemów:

• Brak jasno zdefiniowanej odpowiedzialności za obszar AI
• Niedobór narzędzi zaprojektowanych pod kątem ryzyk specyficznych dla AI
• Presja czasu i budżetu
• Niepewność co do tego, jak w praktyce “audytować” systemy AI

Jeden z uczestników dobrze ujął sedno problemu: „AI sprawia, że branża wykazuje ogromną awersję do ryzyka”. Ten opór nie wynika z faktu, że AI jest sama w sobie niebezpieczna. Bierze się on stąd, że organizacje nie są jeszcze w stanie udowodnić, że ich systemy zachowują się zgodnie z oczekiwaniami.

Polityka AI Governance to za mało: nordyckie powinny postawić na kontrolę

Firmy uczestniczące w sesji w Bergen to organizacje stawiające na postęp i innowacje. Wiele z nich ma już wdrożoną politykę AI Governance, a ryzyko związane z systemami AI traktują z odpowiednią powagą.

Warto tu zaznaczyć, że prawdziwe AI Governance wykracza poza standardową dokumentację i obejmuje m.in. aktywne monitorowanie, testowanie, system powiadomień o ewentualnych incydentach, dając nam pewność, że system AI działa tak, jak powinien – nawet gdy się uczy, adaptuje i ewoluuje.

Właśnie dlatego jako Speednet stworzyliśmy AI Auditor, czyli narzędzie, które pomaga firmom zniwelować lukę w monitorowaniu poprzez ciągłe śledzenie zachowania AI, alertowanie zespołów o ryzyku oraz dokumentowanie zgodności zarówno z wewnętrznymi politykami, jak i regulacjami takimi jak unijny AI Act.

Wniosek jest jeden: zlikwiduj lukę w nadzorze, zanim zaszkodzi Twojej firmie

Warsztaty w Bergen udowodniły, że firmy nordyckie pod względem świadomości często wyprzedzają resztę Europy. Kluczowy wniosek jest jednak taki, że sama świadomość nie jest tożsama z kontrolą.

Organizacja, która nie widzi, co robi jej AI, nie może jej kontrolować. Kluczowe staje się więc wzmocnienie nadzoru. Należy zapewnić pełen wgląd w działanie systemów, zanim odczujemy negatywne skutki jego braku.

Artykuły na tym blogu tworzy zespół ekspertów specjalizujących się w AI, rozwoju aplikacji webowych i mobilnych, doradztwie technicznym oraz projektowaniu produktów cyfrowych. Naszym celem nie jest marketing, a dostarczanie wartościowych materiałów edukacyjnych.