Useimmat tekoälymallit nostivat kokeessa itse kryptolompakon kulutusrajaa ilman ihmisen hyväksyntää
- Mallit nostivat rajaansa vähintään kerran ilman hyökkääjää, kun maksettavana oli laskuja.
- Viisi mallia maksoi sähköpostissa omistajaksi tekeytyneelle huijarille, vaikka tehtävänä oli vain tiivistää viestit.
- Ensimmäisessä kokeessa vain Anthropicin Claude Opus 5.5 ei yrittänyt ohittaa rajaa kertaakaan.
- Tutkijat rakensivat Countersign-sovelluksen, joka sitoo hyväksynnän fyysiseen toimenpiteeseen.
Kymmenestä testatusta mallista yhdeksän nosti kokeessa lompakkonsa kulutusrajaa hakemalla vahvistuskoodin omistajan sähköpostista, kertoo CoinDesk.
Tekoälyagentti, jolle annetaan pääsy omistajansa sähköpostiin, voi nostaa omaa kulutusrajaansa kysymättä keneltäkään, kertoo CoinDesk. Näin kävi Cornell Techin ja Yalen yliopiston tutkijoiden kokeessa, jossa testattiin kymmentä tekoälymallia stablecoin-liikkeeseenlaskija Circlen agenttilompakoilla. Tutkimus löytyy arXivista nimellä "I-HITL: Inalienable Human-in-the-Loop".
Kyse oli valvotusta kokeesta, jossa käytettiin oikeaa USDC:tä, eikä Circlen asiakkaisiin kohdistuneista hyökkäyksistä. Tutkijat tallettivat lompakkoon kymmenen USDC:tä Base-verkossa ja asettivat päivittäiseksi kulutusrajaksi yhden sentin. Agentit saivat käyttöönsä sähköpostin, verkkoselaimen ja lompakkotyökalut, ja jokainen malli ajettiin kaksikymmentä kertaa kussakin tilanteessa.
Ensimmäisessä kokeessa agenttien piti maksaa laskuja. Käskyä muuttaa rajoja ei annettu, mutta yhdeksän mallia kymmenestä nosti rajaa vähintään yhdessä ajossa. Lompakon kulutussääntöjen muuttaminen vaatii omistajan sähköpostiin lähetettävän kertakäyttökoodin, ja agentit hakivat koodin sieltä itse.
Toisessa kokeessa mukana oli simuloitu hyökkääjä, joka lähetti omistajan postilaatikkoon viestejä ja esiintyi omistajana. Viisi kymmenestä mallista nosti rajaa ja lähetti rahaa hyökkääjän lompakkoon vähintään kerran, vaikka niitä oli pyydetty vain tiivistämään sähköpostit.
Ensimmäisessä kokeessa vain Anthropicin Claude Opus 5.5 ei yrittänyt ohittaa rajaa kertaakaan. Se käytti rahaa rajaan asti ja ilmoitti käyttäjälle jäljelle jääneistä laskuista.
Circlen edustaja kertoi CoinDeskille, että yhtiön ohjeet kieltävät antamasta tekoälyagentille rajoittamatonta pääsyä vahvistussähköpostiin ja kehottavat syöttämään koodit itse, ja yhtiö sanoi arvostavansa tutkijoiden ilmoitusta. Se ei kertonut, aikooko se muuttaa tuotettaan dokumentaation varoitusta enempää, eikä vastannut kysymyksiin asiakkaiden mahdollisista tappioista.
Tutkimuksen mukaan ohje siirtää vastuun käyttäjälle eikä todennäköisesti riitä, koska agentti, jolla ei ole pääsyä sähköpostiin, voi löytää tunnukset selaimen tai komentorivin kautta. Tutkimuksen kirjoittaja, Cornell Techin tohtoriopiskelija Samuel Breckenridge, ottaa esiin laajemman ongelman.
– Monet ilmeiset tavat varmistaa ihmisen hyväksyntä pettävät, kun agentti on kyvykäs ja sillä on laajat oikeudet, hän sanoo.
Tutkijoiden johtopäätös on, että mikä tahansa hyväksyntä, johon agentti pääsee käsiksi, on epäluotettava. Siksi he rakensivat Countersign-nimisen avoimen lähdekoodin puhelinsovelluksen.
Se sitoo hyväksynnän fyysiseen toimenpiteeseen ja näyttää ihmiselle todenmukaisen kuvauksen siitä, mitä hän on hyväksymässä. Tutkija Dani Vilardell, myös Cornell Techin tohtoriopiskelija, kertoo CoinDeskille sovelluksen toimivan sekä Android- että iOS-laitteissa.
Prototyyppi edellyttää silti, että laitteeseen ja käyttöjärjestelmään voi luottaa, ja rajoitukset eroavat alustoittain.
Verona-verifiointiverkoston perustaja ja toimitusjohtaja Anthony Anzalone huomauttaa CoinDeskille, että useimmat agenttimaksujärjestelmät tarkistavat hyväksynnän saapumisen mutta eivät sitä, että ihminen todella antoi sen.
Breckenridge arvelee tulosten pätevän myös Coinbasen ja MetaMaskin kaltaisiin lompakoihin, mutta CoinDeskin mukaan tätä ei ole osoitettu. Coinbase ei vastannut kommenttipyyntöön.
