Det är inte många företag som på egen hand kan utplåna 1 biljon dollar i börsvärde från den amerikanska aktiemarknaden. Ändå är det precis vad kinesisk AI startup DeepSeek hanteras i slutet av januari efter att ha introducerat en ny modell som påstås fungera till en bråkdel av OpenAI:s kostnad med liknande resultat. Sedan dess har marknaderna återhämtat sig, och nyheter om allvarliga säkerhets- och integritetsproblem med DeepSeek-R1 stora språkmodellen (LLM) och företagets front-end-app har dykt upp.

Men innan CISO:er rycker på axlarna och går vidare, låt oss sätta detta i sitt sammanhang. Bara för att DeepSeeks teknologi har märkts med hög risk betyder det inte att andra modeller är helt felfria. Säkerhetsteam kan behöva standarder för bästa praxis för att hjälpa dem att navigera i risker i detta snabbt utvecklande område.

Vad är det för fel på DeepSeek?

Enligt ett stycke forskning, DeepSeek-R1 har två huvudproblem:

 

  • Det är sårbart för "jailbreaking" via snabb injektion. Med andra ord, genom att ange specifika uppmaningar kan användare kringgå de inbyggda skyddsräckena som satts in av DeepSeek-utvecklare – vilket resulterar i några oetiska och rent ut sagt farliga resultat. Till exempel, när FPA-forskare uppmanade LLM att anta en "ond" persona, fri från etiska eller säkerhetsmässiga begränsningar, var de ganska nöjda med att tillhandahålla ett infostealer malware script, förslag på vilka cyberbrottsmarknadsplatser att besöka och till och med vägledning om att skapa en självmordsdrönare
  • Det är benäget att få "hallucinationer" – till exempel att tillhandahålla en lista med personlig information om ledande OpenAI-anställda när du uppmanas att göra det, vilket var falskt

En separat studie från EnkryptAI bekräftar att DeepSeek är benäget att leverera felaktig information och skadligt innehåll. Den hävdar att modellen är:

  • 3 gånger mer partisk än Claude-3 Opus
  • 4 gånger mer sårbar för att generera osäker kod än OpenAI:s O1
  • 4 gånger giftigare än GPT-4o
  • 11 gånger mer sannolikt att generera skadlig utdata jämfört med OpenAI O1
  • 3.5 gånger mer sannolikt att producera kemiskt, biologiskt, radiologiskt och nukleärt innehåll (CBRN) än OpenAI O1 och Claude-3 Opus

Ytterligare oro över säkerheten för DeepSeeks back-end-infrastruktur uppstod efter en säkerhetsleverantör upptäckt en allmänt tillgänglig databas som tillhör företaget, som avslöjar mycket känsliga data, inklusive loggströmmar, API-hemligheter och operativa detaljer.

Separat analys från SecurityScorecard avslöjar en mängd säkerhets- och integritetsproblem med DeepSeek Android-appen, inklusive:

  • Svag säkerhet, såsom hårdkodade krypteringsnycklar, svaga kryptografiska algoritmer och SQL-injektionsrisker
  • Alltför bred datainsamling om användare, inklusive indata, enhetsdetaljer och tangenttryckningsmönster, som alla lagras på servrar i Kina
  • Hemlig datadelning med kinesiska statligt ägda företag och TikTok-föräldern ByteDance, och vaga sekretesspolicyer

Anti-debugging-tekniker som vanligtvis används för att hindra säkerhetsanalys.

Lyfta locket på LLM-risker

Men medan rivaliserande modeller som OpenAIs tros vara mycket säkrare, skulle det vara dumt att anta att riskerna som lyfts fram av DeepSeek-R1 inte finns någon annanstans.

"Den utspelade DeepSeek-incidenten bör inte utnyttjas som en lämplig anledning att plötsligt glömma allvarliga kränkningar och AI-relaterade risker som andra GenAI-leverantörer utgör. Annars saknar vi skogen för träden", hävdar ImmuniWebs VD, Platt Law cybersäkerhetspartner och Capitol Technology University professor Ilia Kolochenko.

Oavsett om organisationer använder en tredjeparts LLM som DeepSeek eller utvecklar/finjusterar en internt, måste de vara medvetna om hur det kan utöka företagets attackyta. Potentiella riskpunkter inkluderar själva modellen, data den är tränad på, eventuella API:er, tredjepartsbibliotek med öppen källkod, front-end-applikationer och back-end molninfrastruktur.

OWASP har kompilerat a Topp 10 för LLM-applikationer listar de viktigaste säkerhetsproblemen – av vilka några påverkade DeepSeek. Dessa är:

  1. Snabb injektionssårbarhet som kan utnyttjas genom att skapa specifika ingångar för att ändra modellens beteende, förbi säkerhetsfunktioner.
  2. Utlämnande av känslig information som kan innefatta företagshemligheter eller kunddata.
  3. Sårbarheter i försörjningskedjan, som buggar i komponenter med öppen källkod, som kan utnyttjas för att skapa oavsiktliga utdata, stjäla känslig data eller orsaka systemfel.
  4. Data- och modellförgiftning, där förträning, finjustering eller inbäddning av data manipuleras för att introducera sårbarheter, bakdörrar eller fördomar.
  5. Felaktig hantering av utdata, som ett resultat av otillräcklig validering, sanering och hantering, vilket kan leda till hallucinationer eller införa säkerhetsbrister.
  6. Överdriven byrå härrör från överdriven funktionalitet, behörigheter och/eller autonomi och kan leda till en mängd negativa resultat, inklusive överträdelser och efterlevnadsproblem.
  7. Systemprompt läckage, som inträffar när systemuppmaningar innehåller känslig information, vilket gör att angripare kan beväpna denna insikt.
  8. Vektor- och inbäddningssvagheter är specifika för LLM-system som använder Retrieval Augmented Generation (RAG) och kan utnyttjas för att injicera skadligt innehåll, manipulera modellutdata eller komma åt känslig information.
  9. Desinformation, som till stor del beror på hallucinationer.
  10. Obegränsad konsumtion, som härrör från "överdrivna och okontrollerade slutsatser" och kan leda till nekande av tjänster.

Kan ISO 42001 hjälpa?

Den goda nyheten är att CISO:er som vill utnyttja kraften hos LLM inom sin verksamhet och/eller leverera till kunder kan göra det på ett sätt som minskar dessa risker, tack vare en banbrytande ny standard. ISO 42001 tillhandahåller ett ramverk för att etablera, implementera, underhålla och kontinuerligt förbättra ett AI Management System (AIMS). Den täcker hela livscykeln för AI-system och hjälper organisationer att:

  • Bädda in etiska principer i AI för att undvika partiskhet och respektera mänskliga rättigheter
  • Öka transparensen för AI-system och algoritmer för att skapa förtroende och ansvarsskyldighet
  • Identifiera, utvärdera och minska risker som de som lyfts fram av OWASP och som finns i DeepSeek
  • Förbättra efterlevnaden genom att anpassa AI-verksamheten till befintliga rättsliga och regelverk
  • Främja en kultur av ständig förbättring av AI-systemhantering

Kolochenko säger till ISMS.online att sådana standarder inte är ett universalmedel men kan tjäna ett värdefullt syfte.

"Den nya ISO 42001-standarden kommer säkerligen att ge värde för att fylla ut det regelmässiga vakuumet inom AI, även om incidenter som involverar AI - inklusive mycket allvarliga sådana - sannolikt kommer att fortsätta att växa exponentiellt", hävdar han.

Corian Kennedy, SecurityScorecard senior hot insights & attribution manager, går längre.

"Både ISO 42001 och ISO 27001 tillhandahåller ramverk för styrning och säkerhet som hjälper till att minska riskerna från osäkra tredjepartsappar som DeepSeek och högrisk-LLMs - oavsett om det är externt eller internt byggt", säger han till ISMS.online.

"Tillsammans hjälper de till att minska riskerna från osäkra AI-modeller genom att upprätthålla strikt styrning, stärka regelefterlevnad för att förhindra obehörig dataexponering och säkra interna AI-system med åtkomstkontroller, kryptering och due diligence från leverantörer."

Kennedy påpekar dock att även om ISO 42001 kan ge en "solid grund för AI-säkerhet, integritet och styrning", kan den sakna kontextuell affärsrisk.

"Därför är det ansvar för dem som arbetar med cyberförsvar att implementera ytterligare kontroller baserat på sammanhanget i hotbilden och till stöd för verksamheten", hävdar han.