ChatGPT w Urzędzie Pracy: kobiety do kuchni, mężczyźni do komputerów

Austriacka Agencja Pracy (das Arbeitsmarktservice (AMS)) to austriacka instytucja państwowa, pełniąca rolę publicznego Urzędu Pracy. Jednym z jej zadań jest m. in. udzielanie doradztwa zawodowego. Ale kierownictwo urzędu, zamiast skupić się na klasycznym doradztwie, zdecydowało się na “innowacyjność” i zakup urządzenia zwanego “infomatem kariery”, bazującego na sztucznej inteligencji. ChatbotGPT miał teoretycznie pomóc zainteresowanym w znalezieniu odpowiadającej im ścieżki zawodowej. I “pomagał”. Panie dostawały oferty pracy w kuchni, panowie – w IT. Zapytany bardziej szczegółowo o pracę dla “świetnie wykształconych” mężczyzn oferował im karierę w handlu czy informatyce, kobiety w analogicznej sytuacji miały wybrać karierę związaną z filozofią czy gender studies.

Urząd niby wiedział, że z racji wytrenowania sztucznej inteligencji na konkretnych danych będzie ona wykazywać tendencje dyskryminacyjne – decydenci uznali jednak, że obejdą problem za pomocą prostego promptu. Infomat otrzymał więc zalecenie, by podczas tworzenia rekomendacji zawodowych nie kategoryzował zawodów jako “męskie” czy “żeńskie”. Jak łatwo się domyśleć – to nie wystarczyło.

Paola Lopez, matematyczka zajmująca się sztuczną inteligencją i wymiarem sprawiedliwości podkreśla, że modele wytrenowane w takich sposób, jak ChatGPT będą powielać stereotypy z ich wzorców treningowych. I nie da się temu zapobiec prostą dodatkową instrukcją. Takie próby porównuje do czajnika, który ktoś próbuje powstrzymać od gotowania wody: “Oczywiście, można później dolać zimnej wody do wrzątku, aby zminimalizować skutki, ale to nie eliminuje podstawowego problemu: czajnik gotuje wodę, a model oparty na danych odtwarza wzorce i stereotypy”.

Urząd zakupił chatbota od zewnętrznej firmy, oferującej gotowe rozwiązania. W celu dostosowania produktu do potrzeb agencji powiązano go z jej stronami informacyjnymi nakazując, by odpowiadając na pytanie kierował się informacjami z tych stron. System kosztował podatników 300 000 Euro. Szef AMS, Johannes Kopf, uznaje jednak taki koszt wprowadzenia dyskryminującego rozwiązania za uzasadniony – uważa, że dzięki temu agencja staje się “liderem” “jako instytucja publiczna, zajmująca się wpływem nowoczesnych technologii na rynek pracy”. I to pomimo faktu, że infomat nie tylko dyskryminuje, ale wykazuje też inne, typowe dla tej technologii zachowania. Czyli np. zmyśla. Finalnie wspomniane 300 000 Euro podatników przeznaczone zostaje m. in. na to, by poszukujący pracy pytali, jak stać się ostronosem (zwierzę z gatunku szopowatych) i otrzymywali od urzędu odpowiedź, że powinni w tym celu skończyć weterynarię.

Dużo wątpliwości budzi też kwestia ochrony danych. Teoretycznie w instrukcji obsługi urządzenia jest napisane, by nie wprowadzać do niego żadnych danych osobowych – ale bez tego trudno otrzymać oferty pracy dopasowane pod konkretną osobę. A wprowadzone treści trafiają do firmy OpenAI, gdzie są wykorzystywane w celach szkolenia ich technologii. Urząd odpowiedzialnością za związane z tym naruszenia danych obarcza jednak...użytkowniczki i użytkowników. Bo to oni wprowadzili informacje.

To nie pierwsze doświadczenia instytucji w dyskryminowaniu za pomocą algorytmów. W 2019 roku urzędnicy i urzędniczki pracujący w urzędzie decydujący o tym, którym bezrobotnym udostępnić kursy czy szkolenia, dostali do dyspozycji narzędzie, które miało ich w tych decyzjach wspomóc. Był to algorytm, który gorzej oceniał kobiety, matki oraz osoby niepełnosprawne, bo został wyszkolony na nieaktualnych danych dot. rynku pracy. Sprawa znalazła finał w sądzie – ostateczny wyrok jeszcze nie zapadł.

AI Act, który wejdzie w życie prawdopodobnie w 2026 roku, zalicza oprogramowanie rekrutacyjne wykorzystujące sztuczną inteligencję do kategorii wysokiego ryzyka. Infomat oparty o ChatGPT nie spełnia stawianych w rozporządzeniu wymogów. Pozostaje kwestia, jak zostanie potraktowany – formalnie nie jest częścią procesu rekrutacyjnego. Ale w obecnej formie pogłębia dyskryminację już na etapie szukania informacji dot. pracy – jeszcze zanim do formalnej rekrutacji dojdzie.

Źródła: https://netzpolitik.org/2024/diskriminierung-ams-erntet-hohn-mit-neuem-ki-chatbot/ https://www.heise.de/news/Oesterreichische-Arbeitsagentur-veroeffentlicht-fragwuerdigen-KI-Chatbot-9588098.html