다리오 아모데이 · Anthropic
AI 개발을 늦추자는 오픈AI와 앤트로픽, ‘사다리 걷어차기’ 논쟁
안전기준은 누가 정하고, 어느 기업의 다음 실험을 멈추게 하는가.
목록에는 책상과 출입증, 회사 노트북이 있었다.
클로드 개발사 앤트로픽의 다리오 아모데이가 외부 평가자에게 제공하겠다고 적은 것들이다. 내부 위험평가팀과 비슷한 권한으로 회사의 자료와 시스템을 살펴보게 하겠다는 약속이었다. (아모데이의 제안)
이미지: 다리오 아모데이, 「We Must Pace the Frontier」 대표 이미지.
2026년 9월 12일, 그는 AI 개발 속도를 늦추자고 제안했다. 오픈AI의 샘 올트먼과 일론 머스크도 동의했다. 더 강한 AI를 만들려고 경쟁하던 사람들이 이번에는 속도를 줄이자는 데 뜻을 모았다. (WSJ 보도)
이튿날 월스트리트저널 편집위원회는 다른 질문을 꺼냈다. 위험하다면 각자 늦출 수 있는데, 왜 정부 규칙과 업계 협력이 필요한가. 안전을 위한 협력이 선두 기업의 시장점유율을 지키는 장치가 될 수 있다는 우려였다. (WSJ 사설)
안전 연구에 시간이 필요하다는 주장과, 공동 규칙이 경쟁을 제한할 수 있다는 우려가 맞선다. 출입증을 주겠다는 약속에도 두 문제가 겹친다. 평가자는 회사 안을 어디까지 볼 수 있고, 그 평가로 무엇을 바꿀 수 있는가.
외부 평가자는 위험하다고 하는데 회사는 계속 개발하겠다고 하면, 그다음에는 무슨 일이 벌어지는가.
우위는 지키면서 늦추자고
아모데이는 2023년과 지금이 다르다고 설명한다. 당시에는 모델의 능력이 제한적이어서 안전 연구에 쓸 자료가 부족했지만, 이제는 모델의 행동과 실제 사고 사례를 연구할 수 있다는 것이다. 모든 훈련을 중단하기보다 안전장치를 보강할 시간을 벌자는 주장이다. (아모데이의 제안)
그는 공동 감속으로 안전 연구 시간을 벌면서 사업상 경쟁 우위와 미국의 AI 주도권도 유지할 수 있다고 설명한다. 자발적으로 참여하지 않는 미국의 최첨단 AI 기업에는 규제를 적용하자고 한다. (아모데이의 제안)
한 회사만 늦추면 경쟁사에 추월당할 수 있고, 다른 회사가 만드는 위험까지 사라지지도 않는다. 아모데이가 공동 대응을 제안하는 이유다. 반면 WSJ 편집위원회는 선두 기업들이 공동 기준을 정하는 과정에서 자신들에게 유리한 규칙을 만들 가능성을 경계한다. (아모데이의 제안, WSJ 사설)
공동 감속이 경쟁에 미칠 영향은 조건에 따라 달라질 수 있다. 선두가 천천히 가는 동안 후발기업이 따라잡을 수도 있다. 반대로 개발을 계속할 조건을 기존 기업의 조직과 절차에 맞춰놓으면, 후발기업은 성능을 높이는 것 외에 별도의 준비가 필요해진다.
함께 늦추느냐뿐 아니라, 무엇을 입증해야 다음 실험을 할 수 있느냐가 쟁점이다.
안전기준과 진입장벽 사이
‘사다리 걷어차기’는 이 논쟁에서 먼저 자리 잡은 기업에 유리한 조건이 후발기업의 진입을 어렵게 만드는 경우를 가리킨다. WSJ가 제기한 규제 포획 우려도 여기에 닿아 있다. (WSJ 사설)
가령 안전성을 입증하려면 대규모 감사조직과 정해진 내부 절차를 갖추도록 한다고 하자. 작은 팀이 더 적은 비용으로 같은 수준의 검증을 할 방법을 제안했는데, 기존 방식과 다르다는 이유로 인정받지 못한다.
이 경우 선두 기업은 하던 대로 하면 되지만, 후발기업은 개발을 시작하기 전에 조직과 절차부터 갖춰야 한다. 제한의 근거가 모델의 위험인지, 기존 기업과 같은 조직을 갖췄는지에 따라 결과가 달라진다.
심사를 받을 기회도 마찬가지다. 기준을 충족할 수 있어도 평가 비용을 감당하지 못하거나 심사 순서를 오래 기다려야 한다면 다음 실험이 늦어진다. 같은 규칙을 적어놓는 것과 같은 조건에서 심사를 받을 수 있는 것은 별개의 문제다.
오픈AI는 최첨단 수준의 모델을 개발하지 않는 소규모 개발자와 연구자에게 같은 의무를 적용해서는 안 되며, 규제가 기존 기업의 지위를 굳혀서도 안 된다고 명시한다. (오픈AI 정책 문서)
그렇다면 작은 팀이 선두 기업을 따라잡기 시작했을 때는 어떻게 되는가. 높은 위험이 확인돼 추가 검증을 요구받는 것인지, 다른 방식으로 안전성을 입증할 기회가 없는 것인지 구분해야 한다. 평가 비용이 위험을 검증하는 데 필요한 비용인지, 특정 조직 형태를 요구하면서 생긴 비용인지도 살펴볼 부분이다.
새로운 모델 공급자의 진입이 어려워지면, 앱과 에이전트를 만드는 팀의 선택지도 줄어들 수 있다. 기존 모델을 빌려 제품을 만드는 일과 그 모델을 대체할 AI를 만드는 일에는 서로 다른 조건이 적용될 수 있기 때문이다.
어떤 AI를 만들 수 있느냐는 질문은, 누구의 AI를 골라 쓸 수 있느냐는 질문과도 연결된다.
출입증은 중단권이 아니다
외부 검증이 없으면 내부 정보를 가진 기업의 자체 판단에 더 의존하게 된다. 외부 평가팀이 들어오면 회사가 제공한 설명 외에 다른 판단을 확인할 수 있다.
아모데이는 평가자가 회사에 불리한 결과뿐 아니라 어떤 자료를 보지 못했는지도 공개할 수 있도록 하겠다고 약속했다. 보안상 문제나 법적 제약 등으로 일부 내용을 가릴 수는 있지만, 불리하다는 이유만으로 결과를 지울 수는 없다는 것이다. (아모데이의 제안)
핵심 자료를 보지 못한 채 문제가 없다고 판단한 것과, 필요한 자료를 모두 확인한 뒤 같은 결론을 내린 것은 다르다. 그러나 보고서를 공개하는 것과 개발을 제한하는 것 역시 별개의 일이다.
외부 평가팀은 모델이 위험하다고 판단하고, 회사는 충분히 통제할 수 있다고 주장한다고 하자. 출시 일정은 잡혀 있고 경쟁사는 다음 모델을 준비하고 있다. 그 보고서는 경영진의 참고 자료로 끝나는가. 회사가 반대해도 개발을 중단시킬 근거가 되는가.
평가 결과에 이의를 제기하고 다시 검토받는 절차도 이 문제에 포함된다. 최종 결정은 누가 내리는지, 검토하는 동안 무엇을 허용하는지, 어떤 증거를 제출해야 재개할 수 있는지가 각각 다른 결정이다.
오픈AI는 국가 차원의 의무규제와 민주적 감독을 요구한다. 자발적인 업계 기준은 이를 대체하는 것이 아니라 보완해야 한다는 입장이다. (오픈AI 정책 문서)
이 제안에서 확인할 것은 외부 감독에 동의한다는 말 다음의 절차다. 회사와 평가자의 판단이 엇갈렸을 때 누구의 결정에 따라 어떤 작업이 바뀌는가.
출입증은 무엇을 볼 수 있는지 정한다. 중단과 재개 절차는 그 평가로 무엇을 바꿀 수 있는지 정한다.
누가 실제로 멈췄나
작업 기록을 보면 ‘멈췄다’는 말도 간단하지 않다.
오픈AI가 9월 6일 공개한 자료에 따르면, 8월 7일 특정 모델군에 추가 보안 제한을 적용한 뒤 그다음 주 해당 모델군의 GPU 배정량은 59.2% 줄었다. 그러나 다른 모델군의 배정량이 늘면서 분석 대상 강화학습 작업의 전체 배정량은 거의 달라지지 않았다. (오픈AI 연구 자료)
이 기록은 9월 감속 제안 이전의 조치다. 제안의 이행 여부와는 별개다. 회사는 제한된 작업에 쓰던 자원의 일부를 다른 모델의 연구로 옮긴 것으로 해석했다. GPU 배정량만으로 성능 향상 속도까지 알 수는 없다. (오픈AI 연구 자료)
특정 실험을 멈추는 것과 연구소 전체의 개발 속도를 늦추는 것은 다르다. 훈련을 중단했는지, 특정 환경에서만 실행을 막았는지, 출시를 미뤘는지에 따라 조치의 범위가 달라진다. 무엇을 계속했고 어떤 근거로 재개했는지도 함께 봐야 한다.
기업 사이의 차이도 중단 횟수만으로 설명되지 않는다. 모델의 위험과 안전조치가 달랐을 수 있기 때문이다. 비슷한 조건에서 어떤 증거를 요구받았고, 그 증거를 제출한 뒤 어떤 결정을 받았는지가 비교 대상이다.
안전과 회사의 이익이 충돌할 때는 어떤 선택을 하는가. 불리한 평가를 공개하는가. 뒤처질 위험이 있어도 출시를 미루는가. 기존 기업과 다른 방법으로 안전성을 입증한 후발기업은 개발을 계속할 수 있는가.
다음에 읽고 싶은 것은 공동성명보다 외부 평가 보고서와 개발을 중단하고 재개한 기록이다. 모델의 위험, 제출한 증거, 적용된 제한을 나란히 놓으면 기업마다 다른 결정을 받은 이유도 살펴볼 수 있다.
먼저 만든 기업의 다음 실험과 뒤따르는 기업의 첫 실험. 둘에 적용된 기준이 다르다면, 그 차이는 위험과 증거로 설명되는가.
2026년 9월 14일까지 공개된 문서를 기준으로 작성했다. 연구소 내부의 GPU 배정량은 오픈AI의 공개 설명에 근거한다.