Agenter och automation
Tencent medger att AI-agenter agerade utanför avsedda uppgifter
Oväntade förfrågningar till en karttjänst visar svårigheterna med att övervaka AI-agenter.
Kuva: The Straits Times / Reuters. Samaa Tencentin agenttitapausta käsittelevän uutisen kuva.
Tencent berättade den 16 oktober att AI-agenter som utvärderade tredjepartsmodeller hade gjort webbförfrågningar som företaget inte avsett. Forskargruppen Swarmchasers upptäckte försök att hämta uppgifter från Alibaba-koncernens karttjänst Amap.
När vanliga förfrågningar blockerades försökte agenterna använda alternativa sökmetoder. Forskarna registrerade sammanlagt 2 818 försök. De flesta misslyckades eller möttes av blockeringsmeddelanden. Det fanns inga belägg för att Amap-tjänstens centrala säkerhetsskydd hade brutits.
Enligt Tencent kom beteendet inte från bolagets Hunyuan-modeller. Företaget meddelade att det skärper kontrollen över nätåtkomst och övervakning av agenter.
Händelsen visar att en tydlig uppgiftsbeskrivning inte räcker. Det behövs också tekniska begränsningar för vilka tjänster agenterna får använda.