Artificiell intelligens letar sig in i allt från kattluckor till "smarta" bakgårdsgrillar – och naturligtvis kan du inte öppna någon modern företagsprogramvara utan att se någon sorts AI-assistent som drivs av en stor språkmodell (LLM). Men eftersom tekniken blir svår att undvika, kanske vi borde fundera lite på hur människor kan missbruka den.

Vi pratar inte om hur cyberkriminella kan använda stora språkmodeller (LLM) för att skriva nätfiske-e-postmeddelanden eller hacka webbplatser här. Snarare överväger vi hur angripare skulle kunna äventyra legitima AI-system för att stjäla data, sprida felaktig information eller till och med skicka maskiner förödande.

Sårbarheterna som lurar i LLM

En av de vanligaste attackerna av detta slag involverar snabb manipulation. Angripare har visat hur man kringgår olika LLM-systems säkerhetsräcken (så kallad jailbreaking) med hjälp av tekniker som rollspel och till och med att skriva in rappakalja.

Snabba injektioner kan göra mer än att få en jurist att leverera instruktioner för olagliga aktiviteter eller skriva nätfiskemejl. Forskare har använt dem för datautvinning. Till exempel lurade AI-säkerhetsföretaget PromptArmor Slacks AI-assistent att läcka hemligheter som API-nycklar från privata kanaler.

Snabb ingenjörskonst skapar möjligheter till datastöld. AI-system kan oavsiktligt exponera känslig data genom buggar eller designfel. Ibland kan dessa vara buggar, som när en ChatGPT-bugg läckte användarnas privata information, inklusive betalningsuppgifter, i mars 2023. Andra attacker använder snabb injektion med lömska taktiker som att ändra text så att en skadlig uppmaning övertalar en juridiktekniker att lämna över data samtidigt som den är obegriplig för mänskliga offer.

I vissa scenarier kanske forskare kan använda snabb teknik för att exponera modellens ursprungliga träningsdata. I en modellinversionsattack kan en motståndare förhöra LLM, använda svaren för att sluta sig till saker om träningsdata och så småningom omvända en del av dessa data i efterhand.

Vissa har föreslagit att man använder modellinversion för att extrahera nära approximationer av bilderna som används för att träna ansiktsigenkänningsmodeller. Detta riskerar att identifiera känsliga eller sårbara individer eller ge obehörig tillgång till resurser.

Det behöver inte bara vara textbaserade inmatningar som ger skadliga resultat. Bilder och annan data kan också ha negativa effekter på AI. Till exempel har forskare tvingat självkörande bilar att ignorera stoppskyltar genom att lägga till klistermärken på dem och att se stoppskyltar som inte finns där genom att projicera några bildrutor på en skylt – båda dessa kan få katastrofala konsekvenser på vägen.

Förgiftning uppströms

Alternativt kan angripare manipulera AI-arbetsflöden längre uppströms genom att förgifta de data som AI-system lär sig av. Detta kan förändra hur modellen beter sig och förorena slutresultatet. Vissa av dessa attacker utförs av ekonomiska eller politiska skäl. Forskare utvecklade ett verktyg, Nightshade , för att hjälpa konstnärer att subtilt ändra sina digitala bilder genom att infoga osynliga pixlar som en protest mot att LLM:er tränar på upphovsrättsskyddat material. Detta gör att bildgenereringsprogram ger oförutsägbara resultat.

Dataförgiftning behöver inte vara utbredd för att ha en effekt, och när den tillämpas på specifika datamängder som de som används i medicinska system kan resultaten bli katastrofala. En studie fann att ändring av bara 0.001 % av träningstokens med medicinsk felinformation avsevärt ökade sannolikheten för medicinska fel.

När AI fortsätter att genomsyra vardagen ökar potentialen för systemkompromisser att påverka samhället. En skarpsinnig angripare kan göra allt från att skapa desinformation till att orsaka olyckor på vägen, påverka säkerhetskritiska beslut inom områden som medicin eller stoppa AI från att upptäcka bedrägliga transaktioner.

Skydda AI-modeller

Möjligheterna för AI-kompromisser är tillräckligt utbredda – och deras konsekvenser tillräckligt breda – för att en mångfacetterad strategi för AI-styrning är avgörande. ISO 42001 , en internationell standard för AI-ledningssystem, har ett helhetsgrepp som inkluderar områden som AI:s organisatoriska sammanhang och ledarskapets engagemang. Den involverar också planering, support, drift samt kontinuerlig utvärdering och förbättring. Den föreskriver utveckling av tekniska specifikationer, inklusive säkerhet och datakvalitet, tillsammans med dokumentation av säkerhetsprotokoll för att skydda mot hot som dataförgiftning och modellinversionsattacker.

Regeringar har infört säkerhetsrestriktioner för AI. EU:s AI-lag föreskriver en överensstämmelsebedömning för högrisksystem, vilket inkluderar att de uppfyller testkrav som fortfarande är under utveckling. I USA hade National Institute of Standards and Technology (NIST) redan ett ramverk för riskhantering inom AI (RMF) innan Biden-administrationen publicerade sin Executive Order 14110 om AI-säkerhet i oktober 2023 (nu upphävd av Trump-regeringen). Detta krävde en kompletterande generativ resurs för riskhantering inom AI, vilket NIST publicerade i juni förra året.

Till skillnad från NIST:s AI RMF är ISO 42001 certifierbart. Och medan NIST fokuserar mycket på säkerheten och säkerheten för AI-system, utforskar ISO 42001 deras roll i ett bredare affärssammanhang.

Varför AI-styrning är viktig nu

Ramverk som dessa blir allt viktigare i takt med att grundläggande LLM-modellleverantörer tävlar om att erbjuda nya funktioner som imponerar på konsumenterna. Genom att göra det ökar de AI-modellernas attackyta, vilket gör det möjligt för säkerhetsforskare att hitta nya exploits. Till exempel har företag som OpenAI och Google introducerat långtidsminnesfunktioner i sina LLM:er, vilket gör det möjligt för dem att lära känna användarna mer intimt och leverera bättre resultat. Detta gjorde det möjligt för forskaren Johann Rehberger att använda prompt injection (snabb injektion) som skulle kunna plantera falska långtidsminnen i Googles Gemini LLM.

Det är också värt att utforska säkerheten hos AI-modeller i samband med grundläggande cyberhygien. I januari 2025 avslöjade forskare ett dataintrång vid den kinesiskkonstruerade grundläggande LLM DeepSeek, som fångade allmänhetens fantasi med sin höga prestanda. Orsaken till dataintrånget hade ingenting att göra med snabb ingenjörskonst, modellinversion eller några magiska AI-funktioner; det härrörde från en offentligt exponerad molndatabas som innehöll chatthistorik och användarinformation. I AI:s spännande nya värld är några av de mest skadliga sårbarheterna deprimerande gammaldags.