Anthropic dodáva Claude 4 limity, aby sa zabránilo pokynom na zbrane

Anthropic vo štvrtok uviedol, že aktivoval pevnejšie umelá inteligencia ovládať Blízka práca 4jeho najnovší model AI.

Nové kontroly bezpečnostnej úrovne AI (ASL-3) majú „obmedziť riziko, že Claude bude zneužitý špecificky na vývoj alebo získanie chemických, biologických, rádiologických a jadrových (CBRN) zbrane“napísala spoločnosť v a blogový príspevok.

Spoločnosť, ktorá je podporovaná Amazonuviedol, že prijíma opatrenia ako preventívne opatrenie a že tím ešte neurčil, či Opus 4 prekročil referenčnú hodnotu, ktorá by si vyžadovala túto ochranu.

Anthropic vo štvrtok oznámil Claude Opus 4 a Claude Sonnet 4, ktorý ponúkal pokročilú schopnosť modelov „analyzovať tisíce zdrojov údajov, vykonávať dlhodobé úlohy, písať obsah kvality ľudskej kvality a vykonávať zložité akcie“ podľa vydania.

Spoločnosť uviedla, že Sonnet 4 nepotrebuje prísnejšie ovládacie prvky.

Jared Kaplan, hlavný vedecký úradník pre antropie, poznamenal, že pokročilá povaha nových modelov Claude má svoje výzvy.

„Čím zložitejšia je úloha, tým väčšie je riziko, že model bude trochu odísť z koľajníc … a skutočne sa zameriavame na riešenie toho, aby ľudia mohli skutočne delegovať veľa práce na naše modely,“ uviedol.

Spoločnosť vydala v marci aktualizovanú bezpečnostnú politiku, v ktorej sa zaoberala rizikami spojenými AI modely a schopnosť pomôcť používateľom rozvíjať chemické a biologické zbrane.

Hlavné bezpečnostné otázky zostávajú týkajúce sa technológie, ktorá postupuje prielomovým tempom a preukázala znepokojujúce praskliny v bezpečí a presnosti.

Minulý týždeň Elon Musk’s Veľkolepý Z XAI pokračoval vo vychladnutí témy “biela genocída„V Južnej Afrike v reakciách na nesúvisiace komentáre.

Spoločnosť neskôr pripisovala bizarné správanie „neoprávnenej modifikácii“.

Olivia Gambelin, …