AI 연구개발 자동화가 무서운 이유는 당장 로봇이 사람을 공격해서가 아니다. AI가 다음 세대 AI를 만드는 일을 이미 꽤 많이 맡고 있는데, 바깥에서는 그 진행 속도를 제대로 볼 방법이 없다는 데 있다. 지난 글에서 국제 규칙을 거부하는 미국의 태도를 짚었는데, 이번엔 한 단계 더 답답한 얘기다. 규칙을 만들기 전에도, 지금 기업 안에서 무슨 일이 벌어지는지부터 알아야 한다.
앤트로픽 내부에서는 사람이 직접 끼어들지 않고 AI가 끝낸 연구개발 작업 비중이 최근 __26퍼센트__까지 늘었다고 한다. 그냥 챗봇에게 메일 초안을 맡긴 정도가 아니다. AI를 더 잘 만들기 위한 일을 AI가 해내기 시작했다는 뜻이다.
🤖 AI 연구개발 자동화, 진짜 문제는 속도가 아니다
AI 연구개발 자동화는 AI가 코드를 짜고, 실험을 설계하고, 결과를 평가하고, 보안 문제를 점검하는 일을 대신하는 흐름이다. 연구자들은 이게 계속 빨라지면 AI가 더 좋은 AI를 만들고, 새 AI가 다시 다음 AI 개발에 투입되는 구조가 생길 수 있다고 봤다.
쉽게 말하면 이렇다. 지금까지는 연구실에 연구원 100명을 더 뽑으려면 채용도 해야 하고, 교육도 해야 하고, 자리도 마련해야 했다. 그런데 AI 연구원은 성능만 충분하다면 복제해서 여러 작업에 동시에 붙일 수 있다. 물론 컴퓨터 자원과 전기, 데이터가 필요하니 사람처럼 무한정 늘릴 수는 없다. 그래도 속도 차이는 엄청날 수 있다.
연구진은 이런 고리가 제대로 돌아가면, 지금 수년 걸릴 기술 발전이 수개월 안에 일어나는 이른바 지능 폭발로 이어질 수 있다고 경고했다.
내가 보기엔 지능 폭발의 핵심은 AI가 인간보다 똑똑해진다는 공포가 아니라, 개발 경쟁의 시간이 사람과 정부의 판단 속도보다 빨라진다는 데 있다.
정부가 회의를 열고 법안을 만들고, 기업이 의견서를 내고, 국회가 논의하는 동안 AI 개발은 다음 버전으로 넘어갈 수 있다. 기술은 전력질주인데 감독은 민원 접수 순서대로 움직이면, 애초에 경기가 안 된다.
💻 승인된 코드 80퍼센트, 사람은 뭘 하고 있나
공동 논문에 따르면 앤트로픽에서 개발진이 승인한 코드 가운데 AI가 작성한 비율은 지난해 1월 한 자릿수에서 올해 5월 __80퍼센트 이상__으로 올라갔다.
여기서 “그럼 개발자는 손 놓고 있나”라고 생각하면 조금 과장이다. 사람이 승인하고, 방향을 정하고, 최종 책임을 진다. 코드 초안을 AI가 썼다고 해서 개발자 자체가 사라졌다는 뜻은 아니다.
그런데도 80퍼센트라는 숫자는 꽤 세다. 회사에서 보고서 초안 80퍼센트를 AI가 쓰는 것과, 차세대 AI를 만드는 코드 80퍼센트를 AI가 쓰는 건 무게가 다르다. 후자는 공장 기계를 고치는 데 쓸 새 기계를, 그 공장 기계가 직접 설계하는 장면에 가깝다.
더 답답한 건 이런 변화가 일반 이용자에게는 거의 보이지 않는다는 점이다. 우리는 새 모델이 나와야 “이번엔 글을 잘 쓰네”, “이미지를 더 잘 만드네” 하고 알게 된다. 하지만 기업 내부에서는 공개 전부터 AI가 연구 업무를 얼마나 가져갔는지, 어느 단계까지 사람 확인 없이 처리하는지가 훨씬 중요한 신호일 수 있다.
▶ 바깥 성능만 보면 늦을 수 있다
새 AI 모델이 시험에서 몇 점을 받았는지, 코딩을 얼마나 잘하는지는 공개 자료로도 어느 정도 확인할 수 있다. 하지만 그 모델이 회사 내부에서 다음 모델 개발에 얼마나 깊게 들어갔는지는 기업이 밝히지 않으면 알기 어렵다.
이게 이번 공동 논문이 정부에 “새 모델 성적표만 보지 말고, AI가 연구개발을 얼마나 자동으로 돌리고 있는지도 보고받아야 한다”고 요구한 이유다.
기업 입장에서는 영업 비밀이라고 할 만하다. 경쟁사에 개발 속도와 전략을 보여주는 일이니까. 그 사정은 이해한다. 그렇다고 아무도 모르게 두자는 말은 곤란하다. 원자력 발전소가 안전 관련 내용을 경쟁사에 공개하지 않는다고 해서 감독기관에도 숨기지는 않지 않나.
AI 기업의 연구 비밀은 지켜주더라도, 안전과 직결되는 자동화 수준까지 기업 셀프 신고에만 맡기면 안 된다.
🚦 AI를 멈추라는 게 아니라, 멈출 손잡이부터 만들자는 말이다
연구자들이 낸 제안은 생각보다 단순하다. AI 기업이 연구개발 자동화 수준을 보고하고, 독립 기관이나 정부 관계자가 내부 안전 관리를 확인할 수 있게 하자는 것이다. 안전 기준을 못 맞추면 작업량을 줄이거나 잠시 멈출 권한도 마련하자고 했다.
이걸 두고 “AI 발전을 막자는 거냐”고 받아들이면 얘기가 꼬인다. 자동차를 만들 때 충돌 시험을 한다고 자동차 산업을 없애자는 게 아니듯, AI도 더 강해지기 전에 최소한의 점검 장치를 갖추자는 얘기다.
특히 이번엔 AI 연구자들만의 바깥 경고가 아니다. 오픈AI, 앤트로픽, 마이크로소프트, 메타처럼 실제 최첨단 AI를 만드는 곳의 연구진도 공동 저자로 참여했다. 현장에서 일하는 사람들이 “우리도 이 속도는 그냥 두기 불안하다”고 말하는 셈이다.
물론 “2년 안에 전면 자동화” 같은 전망이 그대로 실현된다고 단정할 수는 없다. AI 연구원을 많이 돌리려면 GPU 같은 고성능 반도체와 전력, 학습 데이터가 필요하다. AI가 아이디어를 빨리 내도 거대한 모델을 실제로 훈련하는 데는 시간이 걸린다. 병목은 분명 있다.
하지만 병목이 있다고 브레이크가 저절로 생기는 건 아니다. 막히는 길목이 어디인지 알기 위해서라도, 정부는 기업 내부의 AI 연구개발 자동화 지표를 받아봐야 한다.
지난 글에서는 국제 규칙을 같이 만들자는 제안을 미국이 달가워하지 않는다는 점이 불안하다고 썼다. 이번 논문을 보니 그보다 앞선 문제가 하나 더 있다. 우리는 지금 경주가 몇 바퀴째인지도 모른 채 관중석에 앉아 있는 것 같다.
AI가 연구를 돕는 건 막을 일도, 막을 수도 없는 흐름일 거다. 다만 AI가 AI를 만드는 속도까지 빨라지는 순간에는 “기업이 알아서 잘하겠지”라는 말이 너무 가볍다. 그 말은 브레이크가 있는지 보지도 않고 차 키부터 넘기는 것과 별 차이가 없다.



