Po OpenAI ďalší problém. Aj modely Anthropic útočili na skutočné spoločnosti

Podobný incident nedávno priznalo OpenAI. Anthropic ani postihnuté firmy si incident podľa oznámenia nevšimli. Podľa Anthropicu tieto udalosti ukazujú na nutnosť výrazne posilniť zabezpečenie interných aj externých testovacích prostredí.

Aktivitu odhalil Anthropic až pri nasledujúcej kontrole viac ako 141-tisíc testovacích spustení. Tú uskutočnil po incidente firmy OpenAI, pri ktorom sa jej autonómny agent pri bezpečnostnom teste vymkol kontrole a spustil útok, ktorý ohrozil infraštruktúru firmy Hugging Face.

Na rozdiel od modelu OpenAI, ktorý si musel nájsť cestu z testovacieho prostredia na otvorený internet, mali modely Anthropic situáciu výrazne jednoduchšiu. Testovací scenár síce uvádzal, že prístup k internetu nemajú, pre nedorozumenie s partnerom, ktorý test zaisťoval, však internetové pripojenie zostalo po celý čas otvorené. Tri modely túto možnosť využili, uviedla spoločnosť Anthropic.

Testy mali overiť schopnosti AI pri hekerských útokoch, čo firmy bežne robia, aby odhalili možné riziká a nastavili účinnejšie bezpečnostné opatrenia. Modely dostali za úlohu získať konkrétnu informáciu uloženú v inom počítači, pričom na jej získanie museli preniknúť do cieľového systému. Incidenty sa týkali troch samostatných modelov a najstarší prípad sa stal v apríli.

V jednom z incidentov zvolil partner zaisťujúci test pre fiktívnu firmu názov, ktorý však zodpovedal skutočnej internetovej adrese. AI sa následne namiesto simulovaného cieľa zamerala na reálne existujúcu spoločnosť a v štyroch testovacích spusteniach sa jej pokúsila nabúrať do systémov, okrem iného získala prístup k databáze. V útoku pokračovala aj po tom, čo rozpoznala, že ide o skutočnú firmu.

V inom teste model Anthropic vytvoril škodlivý softvér na prienik do cieľového počítača. Vďaka prístupu k internetu ho zverejnil na špecializovanej platforme, odkiaľ si ho počas zhruba hodiny stiahlo 15 systémov. Medzi nimi bola aj firma zaoberajúca sa kybernetickou bezpečnosťou, ktorá také skripty bežne sťahuje a spúšťa s cieľom testovať ich. Model Anthropic tak získal prístup k počítačovej infraštruktúre tejto spoločnosti.