Forskare har identifierat en brist i Microsoft 365:s Copilot, "EchoLeak", som kan göra det möjligt för angripare att ta sig an känslig företagsdata utan någon användarinteraktion. I takt med att problem som detta ökar, är företagen självbelåtna över hotet från AI?

I juni avslöjade forskare att de hade hittat en brist i Microsoft 365:s Copilot som skulle kunna göra det möjligt för motståndare att stjäla känslig företagsdata i en "nollklick"-attack, utan att kräver någon interaktion från användaren.

Döpt till ”EchoLeak” och tros vara den första i sitt slag, sårbarheten utnyttjar designfel som finns i hämtning utökad generation-baserade chattrobotar och AI-agenter, säger forskare vid Aim Labs.

I en blogg, förklarade forskarna hur de använde en ny utnyttjandeteknik som kallas LLM-omfattningsöverträdelse (Large Language Model). ”Detta representerar ett stort forskningsframsteg i hur hotaktörer kan attackera AI-agenter – genom att utnyttja interna modellmekanismer”, skrev de.

Microsoft åtgärdade problemet innan det kunde användas i verkliga attacker, men EchoLeak visar de mycket verkliga riskerna som detta medför. AI-verktyg i näringslivet.

I takt med att sårbarheter som denna uppstår alltmer, är företagen självbelåtna över hotet från AI, och vilka åtgärder behöver de vidta för att säkerställa att de är motståndskraftiga?

AI-baserade hot

AI-verktyg utgör många risker för företag. Till exempel, även om de har utbildats för att vara hjälpsamma, förstår de inte alltid vad som inte bör delas, säger Sam Peters, produktchef på ISMS.online.

En av de största riskerna ligger i hur generativa AI-system tränas eller uppmanas. ”De kan oavsiktligt lagra eller visa känslig information, utan någon ond avsikt”, varnar Lillian Tsang, senior jurist inom dataskydd och integritet på advokatbyrån Harper James.

Om AI-verktyg är dåligt konfigurerade kan de till och med kräva upp klient- eller medarbetardata som svar på uppmaningar. ”Bakgrundsprocesser kan exponera cachad eller tokeniserad information genom interaktioner med externa system”, förklarar Tsang. ”Det mest oroande är att användaren kanske aldrig får veta att deras data har hanterats felaktigt, vilket gör det ännu svårare att upptäcka och reagera.”

Det som gör saken värre är den hastighet med vilken AI implementeras. AI-verktyg integreras alltmer djupt i företagsinfrastrukturen – ofta tillsammans med "vaga policyer" eller "begränsad insyn i hur de bearbetar och lagrar data", säger Robert Rea, teknisk chef på Graylog.

Sårbarheter i AI-verktyg spä på elden. EchoLeak är ett tydligt tecken på att de säkerhetsmodeller som företag har förlitat sig på inte fungerar bra inom AI, säger Emilio Pinna, chef på SecureFlag. ”Verktyg som Copilot fungerar över flera källor och behörigheter och hämtar data automatiskt för att öka produktiviteten. Utmaningen är att AI inte följer samma tydliga gränser som traditionella appar.”

AI-verktyg, som Microsoft Copilot, är utan tvekan kraftfulla, men de är bara så säkra som systemen och styrningen kring dem, säger Peters. ”Jag tror att det som den här incidenten belyser är att just nu handlar den verkliga risken med AI inte bara om avsiktligt missbruk; det handlar om oavsiktlig exponering.”

Riskmedveten

Som EchoLeak visar är hotet verkligt och växande, men experter tror att vissa företag är självbelåtna med tanke på farorna som är förknippade med AI-verktyg. Detta beror delvis på att det läggs så mycket fokus på vad AI kan göra, snarare än de risker den medför.

”Till viss del är företag för närvarande förblindade av nyheten med AI och dess möjligheter”, berättar Joseph Thompson, jurist i det kommersiella och tekniska teamet på Birketts LLP. ISMS.online”Vi frågar oss inte om det är säkert, vilka riskerna är och hur vi kan skydda oss själva och våra företag.”

Det största problemet är att många organisationer fortfarande ser AI som ett tillägg, snarare än något som fundamentalt förändrar hur data nås och exponeras, säger Peters. ”Det finns ett antagande om att leverantörer har allt under kontroll.”

Men verkligheten är att AI inte sitter i en silo, säger han. ”Det påverkar allt. Det är just den sammankopplingen som gör det så riskabelt utan rätt kontroller på plats.”

I takt med att AI är djupt integrerat i kärnproduktivitetssviterna ökar de därmed sammanhängande riskerna avsevärt, säger Rea. ”AI-system fungerar inte längre som isolerade verktyg, utan utvecklas till genomgripande lager inbäddade i applikationer, API:er och kommunikationskanaler. Denna utbredda integration ökar potentialen för missbruk, oavsiktlig dataexponering och läckage.”

Om ingenting görs för att ta itu med problemet nu kommer saker och ting att bli värre. Allt eftersom tekniken utvecklas kommer AI att beröra mer data, system och arbetsflöden, vilket avsevärt utökar potentiella attackytor, säger Thompson.

Samtidigt kommer företag att behöva hantera alltmer sofistikerade attackmetoder som används av motståndare. ”Angripare kommer att gå från att enbart rikta in sig på kod och infrastruktur till att fokusera på själva AI-beteendet”, varnar Thompson.

Allt detta kommer att göra AI-styrningen alltmer komplex, vilket kräver att team från hela verksamheten arbetar tillsammans för att övervaka efterlevnad och övervinna potentiella hot, tillägger Thompson.

Stärka strategier för AI-styrning

Först och främst är EchoLeak en väckarklocka, säger Thompson. ”Det handlar inte bara om att åtgärda sårbarheten och gå vidare. Organisationer måste ompröva både omfattningen och sättet för AI-integrering i affärskritiska system.”

Med ett ökande antal AI-verktyg och applikationer som kommer ut på marknaden måste företag agera snabbt. Detta innebär "ett allvarligt steg framåt" i hur företag närmar sig AI-styrning, säger Peters. "Hur tråkigt det än kanske låter, inkluderar detta saker som tydlig dataklassificering, starkare åtkomstkontroller, bättre övervakning och framför allt, att utbilda din personal för att förstå hur dessa verktyg beter sig."

Det är värt att överväga NIST:s AI Risk Management Framework, vilket kommer att hjälpa företag att inse teknikens fördelar samtidigt som de minskar dess risker. ISO 42001:2023 Ramverket föreslår också hur man skapar och underhåller AI-ledningssystem på ett ansvarsfullt sätt inom organisationer.

Effektiv styrning kan inte vara en eftertanke. Om den är det har ni redan misslyckats, säger Peters. För att styrning ska skydda er verksamhet effektivt måste den byggas in i era risk- och efterlevnadsstrategier från början, råder han.

”Inget företag har råd att säga ’nej till AI’. Vi vill alla utnyttja fördelarna, men det måste göras ansvarsfullt”, förklarar Peters.

Det innebär att ställa tuffa frågor om var era data finns, hur de flödar genom er verksamhet och era leverantörer, och vem – eller vad – som har tillgång till dem.

”Min oro är att om företag inte tar itu med detta nu, kommer de att ständigt reagera på incidenter snarare än att förebygga dem”, säger Peters. ”Ur ett affärsperspektiv kommer detta snabbt att bli ohållbart med tanke på AI-utvecklingens hastighet.”