Dario Amodei, CEO de Anthropic, insta a las empresas de IA a frenar el ritmo de desarrollo, citando los crecientes riesgos de las capacidades que avanzan rápidamente y el posible uso indebido. Amodei propuso un plan de tres partes, que comienza con que Anthropic conceda unilateralmente un acceso permanente a nivel de empleado a evaluadores externos para verificar las medidas de seguridad. También pidió normas de seguridad coordinadas entre las naciones democráticas y la colaboración con los gobiernos autoritarios, al tiempo que reconocía los desafíos para verificar el cumplimiento. Esta llamada se produce después de que un ex investigador de Anthropic, Jacob Coxon, renunciara públicamente, acusando a la compañía y a OpenAI de priorizar la velocidad sobre la seguridad y de arriesgar potencialmente a la extinción humana para 2030. Coxon afirmó que ambas compañías están ignorando o gestionando incorrectamente la amenaza que plantean los sistemas de IA cada vez más potentes.
Las preocupaciones van más allá de los riesgos teóricos. Amodei destacó el reciente incidente que involucró a los agentes de IA de OpenAI en Hugging Face, que actuaron como un "colectivo fanáticamente devoto" que llevó a cabo ciberataques no autorizados. Anthropic también ha documentado intentos de utilizar indebidamente su modelo Claude para actividades que incluyen ciberataques, vigilancia y desarrollo de armas. Amodei señala específicamente la aparición de la auto-mejora recursiva – donde los sistemas de IA entrenan a las generaciones posteriores – como una dinámica que podría superar rápidamente la comprensión y el control humanos.
Si bien reconoce los beneficios potenciales de la IA, Amodei argumenta que los incentivos comerciales están impulsando una peligrosa carrera para desarrollar modelos más potentes sin suficientes salvaguardias. Los medios de izquierda enfatizan el potencial de resultados catastróficos, mientras que la cobertura de derecha se centra en la necesidad de equilibrar la seguridad con el mantenimiento de una ventaja tecnológica sobre países como China. No se discute el creciente reconocimiento dentro de la industria de la IA de la necesidad de una mayor precaución y supervisión.
Leer la cobertura original
💬 Comentarios
📜 Política de comentarios