Anthropic stelt juridische bevoegdheden voor om risicovolle AI-lanceringen te stoppen

Anthropic heeft nieuwe AI-beleidsframeworks voorgesteld nu geavanceerde systemen sterker worden.

Het bedrijf wil dat overheden regels opstellen voor grensmodellen en werknemers voorbereiden op de economische impact van AI. Het plan omvat gevaarlijke implementaties, onafhankelijke tests, cyberbeveiliging en publieke weerbaarheid.

Anthropic streeft naar sterkere AI-veiligheidsbevoegdheden

Anthropic introduceerde twee voorstellen onder zijn "Policy on the AI Exponential"-plan. Het Advanced AI Framework richt zich op krachtige modellen, terwijl het Economic Policy Framework zich bezighoudt met werknemers en gedeelde financiële voordelen. Het bedrijf stelde dat AI nu sneller beweegt dan de huidige beleidsystemen. Het zei ook dat overheden bevoegdheid nodig hebben om gevaarlijke modelimplementaties te blokkeren of te ontmoedigen.

Onder het plan zouden civiele boetes gekoppeld worden aan de wereldwijde jaaromzet. Herhaalde overtredingen zouden hogere boetes met zich meebrengen, op basis van het voorgestelde framework. Het framework vraagt ook van grensverleggende ontwikkelaars om modellen te testen vóór publicatie. Ontwikkelaars zouden samenvattingen, veiligheidsframeworks en systeemkaarten publiceren voor krachtige AI-systemen.

Onafhankelijke beoordelaars zouden modeltests en risicorapportages evalueren. Anthropic wil ook dat ontwikkelaars sterke beveiligingsprogramma's onderhouden voor modelgewichten en trainingssystemen. Het voorstel ondersteunt transparantiewetten in staten zoals Californië en New York. Het bedrijf stelde echter dat openbare bekendmaking alleen niet langer overeenkomt met de snelheid van AI-ontwikkeling.

Het framework richt zich op catastrofale AI-risico's

De voorgestelde regels zouden alleen van toepassing zijn op de meest geavanceerde AI-systemen. Anthropic stelde de drempel in op modellen die getraind zijn boven 10²⁵ floating-point-bewerkingen. Het framework zou ook bedrijven omvatten die meer dan $500 miljoen aan AI-gerelateerde omzet verdienen. Bedrijven die meer dan $1 miljard besteden aan AI-onderzoek en -ontwikkeling zouden er ook onder vallen.

Anthropic noemde vier belangrijke risicogebieden in het voorstel. Deze omvatten biologisch risico, cyberrisico, controleverlies en geautomatiseerd AI-onderzoek. Voor biologisch risico waarschuwde het bedrijf dat onveilige systemen aanvallers kunnen helpen schadelijke virussen te ontwikkelen. Het merkte ook op dat vergelijkbare AI-tools de ontdekking van geneesmiddelen kunnen ondersteunen.

Voor cyberrisico kunnen grensmodellen op grote schaal ernstige softwarefouten vinden. Anthropic zei dat deze mogelijkheden zorgen baren voor ziekenhuizen, energienetten en andere sleutelsystemen. Het bedrijf benadrukte ook risico's van systemen die buiten de controle van ontwikkelaars opereren. Geautomatiseerd AI-onderzoek kan biologische, cyber- en beheersrisico's vergroten als beveiligingen falen.

Ontwikkelaars staan voor test- en beveiligingsverplichtingen

Anthropic wil dat grensverleggende ontwikkelaars regelmatige risicorapportages publiceren. Deze rapporten zouden de algehele risicopositie van de ontwikkelaar en het veiligheidswerk van het model beschrijven. Het framework vraagt ook om ten minste één gekwalificeerde onafhankelijke beoordelaar. Die beoordelaar zou bedrijfsevaluaties beoordelen en bevindingen publiceren over modelrisicorapportages.

Overheden en de industrie zouden ook normen stellen voor die beoordelaars. Het voorstel zegt dat beoordelaars financiering en toegang tot grensmodellen nodig hebben. Beveiligingsregels vormen een ander belangrijk onderdeel van het framework. Ontwikkelaars zouden hun volledige ontwikkelomgeving beschermen tegen externe aanvallers en interne bedreigingen.

Bedrijven zouden hun beveiligingsprogramma's op hoog niveau publiekelijk beschrijven. Ze zouden ook meer details delen met een aangewezen overheidsinstantie wanneer daarom gevraagd wordt. Anthropic zei dat beleidsmakers kunnen beginnen met lichtere regels en deze in de loop van de tijd kunnen aanpassen. Het framework zegt dat regelgeving de modelcapaciteiten en evaluatienormen moet volgen.

Het voorstel omvat veerkrachtmaatregelen

Het tweede deel van het framework richt zich op publieke weerbaarheid. Anthropic adviseerde sterkere planning voor biologische, cyber- en controle-gerelateerde AI-risico's. Voor biologie omvat het voorstel screening van genensynthese en vroege-waarschuwing-biosurveillance. Het vermeldt ook voorraden beschermende uitrusting en hulpmiddelen om luchtoverdracht te verminderen.

Voor cyber vraagt het framework om sterkere internetsoftware en ondersteuning voor exploitanten van kritieke infrastructuur. Het beveelt ook aan om verouderde systemen in essentiële infrastructuur te vervangen. Overheden zouden ook grensverleggende cybercapaciteiten moeten bijhouden via een toegewijde functie. Anthropic stelde gezamenlijk werk voor tussen overheid en industrie over modelbeveiliging.

Het bedrijf zei dat het werk aan controleverlies en geautomatiseerde onderzoeksrisico's minder ontwikkeld blijft. Het riep op tot betere hulpmiddelen om onveilige systemen te detecteren, in te perken of uit te schakelen. Anthropic drong er bij beleidsmakers op aan om te handelen naarmate de modelcapaciteiten blijven verbeteren. Het bedrijf zei dat AI-governance gelijke tred moet houden met de technologie.