40만 클로드 코드 분석! AI 고수들의 의외의 공통점은?
AI 코딩, 누가 잘 쓸까? 코딩 실력보다 중요한 건 따로 있었네!
AI 코딩 도구, 코딩 잘하는 사람이 제일 잘 쓸 것 같지? 근데 아니래!
엔트로픽이라는 회사에서 '클로드 코드'라는 AI 코딩 도구를 7개월 동안 40만 번 넘게 쓴 23만 5천 명의 데이터를 분석했어. 클로드 코드를 만든 회사에서 직접 사람들이 어떻게 쓰는지 꼼꼼히 살펴본 거지.
놀랍게도, AI한테 일을 잘 시키는 능력은 코딩 실력이랑은 별개였대. 이 리포트를 보면 앞으로 AI 시대에 누가 살아남고 뭘 준비해야 할지 감이 잡힐 거야. 개발자든 코딩을 전혀 모르는 사람이든 모두 해당되는 이야기야.
리포트, 뭘 분석했길래?
사람들이 직접 대화하는 걸 본 게 아니라, 개인 정보는 싹 빼고 AI가 세션 기록을 분류했어. 누가 누군지 모르는 상태에서 통계만 뽑은 거지. 크게 세 가지를 봤대.
- 무슨 일을 하는가?
- 누가 무엇을 결정하는가?
- 그 작업이 성공하는가?
두 번째 질문이 좀 재밌는데, 결정을 두 가지로 나눴어.
- 기획 결정: 뭘 만들지, 어디까지 할지 같은 큰 그림 그리기
- 실행 결정: 어떤 코드를 어떻게 짤지 같은 구체적인 방법 정하기
평균적으로 사람이 기획 결정을 약 70% 했고, 실행 결정은 80%를 AI가 했대.
쉽게 비유하면, 집 짓는 거랑 비슷해. 집주인은 뭘 지을지 정하고, 시공 팀은 어떻게 지을지를 정하잖아? 클로드 코드가 딱 그 시공 팀 같은 역할을 하는 거야. 사람이 프롬프트(AI한테 시키는 말) 하나 던지면, AI는 평균 10가지 행동을 하면서 파일을 읽고, 고치고, 명령을 실행하고, 심지어 100가지가 넘는 걸 하기도 해.
AI 시대, 일을 잘 시키는 사람은 누구?
그럼 실행을 거의 다 맡기는 시대에, 일을 제일 잘 시키는 사람은 누구일까?
리포트에서는 각 세션의 전문성을 5단계로 나눴는데, 이게 우리가 생각하는 직함이나 똑똑함과는 좀 달랐어. 바로 그 작업에 대한 전문성이었지. 실제 코딩 실력이 아니라, 지시가 얼마나 정확한지, 뭘 검증해 달라는 건지, 누가 누구를 고쳐주는지 등을 봤어.
- 10년 차 시니어 개발자라도 러스트를 처음 만져서 두루뭉술하게 물어보면, 그 대화에서는 초보로 잡혀. 실력이 아니라 그 순간의 대화를 보고 판단하는 거야.
- 반대로 파이썬 한 번도 안 써본 회계사가 "월말 마감 때 이 정상 규칙을 놓치면 안 된다"고 정확하게 짚어주면, AI가 틀렸을 때 바로잡아내. 이 회계사는 그 작업에 있어서는 전문가인 거지. 파이썬을 못 써도 말이야.
이게 그냥 가상의 이야기가 아니야. 가수 김범수님이 AI로 음악 만드는 영상을 올렸는데, 프롬프트 짜는 부분을 보면 "템포는 한 90은 돼야 되는 거죠? 발라드보다 조금 빠르게. 키는 여자 키로 빡빡하게." 이렇게 정확하게 시키니까 AI가 원하는 느낌의 노래를 만들어냈어. 사람들이 "AI는 분야 전문가한테 맡겼을 때 퀄리티가 미친다"고 반응한 이유가 바로 이거야. 음악을 아니까 정확하게 시킬 수 있었던 거지. 회계사도, 김범수님도 똑같아.
전문성이 높을수록 AI 활용도 UP!
이 리포트의 진짜 핵심은 이거야. 전문성이 높을수록 프롬프트 하나에 더 많은 일을 시켜.
- 초보: 5번 행동, 600단어
- 전문가: 12번 행동, 3,200단어
행동은 두 배인데, 결과물은 다섯 배나 되는 거지! 왜 이런 차이가 날까? 전문가는 지시가 정확하거든. 정확한 지시를 받으면 AI는 멀리 달리고, 애매하게 시키면 멈춰서 되묻게 돼.
그럼 전문성이 높으면 결과도 진짜 더 좋았을까? 응, 그랬어. 리포트에서는 성공을 꽤 엄격하게 봤는데, 코드를 실제로 적용했는지, 테스트를 통과했는지, 사용자가 직접 확인했는지 등을 검증된 성공이라고 불렀어.
- 초보 세션의 검증된 성공률은 15%
- 중급 이상은 28%에서 33%
두 배가 넘지? 신기한 건, 초보에서 중급으로 갈 때 확 뛰는데, 중급에서 최고 전문가로 갈 때는 차이가 작다는 거야. 완벽한 마스터가 될 필요는 없다는 거지. 제대로 아는 수준이면 이득의 대부분은 이미 가져가는 거야.
일이 꼬였을 때 차이는 더 극명했어. 막혔을 때 초보의 19%는 그냥 포기하는데, 전문가는 그렇지 않아. 전문성이라는 건 결국 AI가 헤맬 때 옳은 방향으로 다시 끌어줄 수 있는 능력인 거야.
개발자가 제일 유리할까? 의외의 결과!
그럼에도 불구하고 "그래도 개발자가 제일 유리한 거 아니야?"라고 생각할 수 있지. 근데 코드를 실제로 만든 세션만 봤을 때, 소프트웨어 개발 직군이 34%, 다른 직군이 29%로 차이가 5% 포인트밖에 안 났대. 상위 10개 직업군이 전부 엔지니어였는데, 7% 포인트 안쪽이었어.
심지어 성공률 1위는 개발자가 아니라 관리직이었대! 관리직이 왜 잘했을까? 사람한테 일을 위임하고 명확하게 지시하는 능력이 AI한테 시키는 데도 그대로 먹힌 거야.
즉, 코딩 배경은 점점 덜 중요해지고 있어. 대신 내 분야를 얼마나 잘 이해하느냐가 그 자리를 대신하고 있는 거지.
7개월간의 변화: AI 활용 범위가 넓어지고 있다!
7개월 동안의 변화도 의미심장해. 버그 고치기 비중이 33%에서 19%로 줄었어. 그 빈자리는 배포, 운영, 데이터 분석, 문서 작성 같은 것들이 채웠지. 이게 무슨 뜻이냐면, 단순히 코드 짜주는 걸 넘어서 일을 처음부터 끝까지 처리하는 쪽으로 AI 활용이 옮겨가고 있다는 거야. 그 사이 작업 한 건의 가치도 7개월 만에 평균 27% 올랐대. 같은 도구로 더 많은 일을 하는 거지.
그래서 결론은?
- AI는 코딩이라는 기술을 점점 대신해주고 있어. 코딩 배경이 없어도 누구나 기술적인 일을 해낼 수 있게 되는 거지.
- 하지만 AI는 판단을 대신 못 해. 뭘 만들지, 뭐가 맞는지는 사람이 정해야 해.
- 판단의 질은 코딩 실력이 아니라 내 분야를 얼마나 깊이 아느냐에서 나와.
- AI는 전문성을 대치하는 게 아니라 증폭시켜. 잘 아는 사람이 AI를 만나면 엄두도 못 내던 일까지 해낼 수 있어.
- 완벽한 전문가가 될 필요는 없어. 성공률은 중급에서 거의 다 올라가고, 최고 전문가와의 차이는 생각보다 작아. 제대로 아는 정도면 충분해!
이 리포트 진짜 한번 직접 읽어보길 추천해. 숫자 하나하나가 곱씹을 만하거든.