9달러 vs 200달러? 클로드 코드 하네스 엔지니어링의 충격적 비밀!

하네스 엔지니어링, AI가 일 잘하게 만드는 비법!

AI한테 뭘 시켰는데 결과가 엉망이었던 경험, 다들 있을 거야. 똑같은 AI인데 왜 그럴까? 그건 바로 AI가 일할 환경을 어떻게 만들어주느냐에 따라 결과가 확 달라지기 때문이야. 이걸 하네스 엔지니어링이라고 해.

하네스 엔지니어링, 뭐가 다른 건데?

간단히 말하면, AI가 일을 잘할 수 있도록 환경을 설계하는 거야. '하네스'라는 말 자체가 말을 원하는 방향으로 이끌 때 쓰는 장비인데, AI도 똑똑해도 방향을 잡아주지 않으면 제멋대로 갈 수 있거든. 그 방향을 잡아주는 환경이 바로 하네스인 거지.

사실 이건 새로운 기술이 아니라, 우리가 이미 하고 있던 걸 체계적으로 이름 붙인 거야.

• 프롬프트 엔지니어링: AI한테 어떻게 질문해야 좋은 답변이 나올까 고민하는 거.
• 컨텍스트 엔지니어링: AI한테 어떤 자료를 함께 주느냐에 따라 결과가 달라진다는 걸 깨닫고 정보를 잘 전달하는 거.
• 하네스 엔지니어링: AI가 일 잘할 수 있도록 환경 자체를 설계하는 것.

왜 하네스 엔지니어링이 중요할까?

엔스로픽이라는 회사에서 실험을 해봤는데, 같은 AI 모델을 써도 환경을 다르게 해주니까 결과가 엄청 달라졌대.

• 환경 없이 시켰을 때: 9달러 쓰고 게임이 제대로 작동 안 하는 앱이 나왔어. (겉보기엔 멀쩡한데 조작이 안 되는...)
• 환경을 잘 설계해서 시켰을 때: 200달러가 들었지만, 실제로 작동하는 완성된 앱이 나왔지.

결국 9달러짜리 망한 앱과 200달러짜리 제대로 된 앱의 차이는 모델이 아니라 환경이었던 거야.

환경 없이는 왜 문제가 생길까?

AI가 환경 없이 일할 때 생기는 문제점은 크게 세 가지야.

1. 세션 간 기억 소실: AI는 새로운 대화가 시작되면 이전 대화 내용을 전혀 기억 못 해. 마치 교대 근무하는 엔지니어가 이전 담당자가 뭘 했는지 모르는 것처럼 말이야. 그래서 이미 만들어진 걸 보고 "다 됐네" 하고 끝내버릴 수 있어.
2. 컨텍스트 어어티 (Context Awkwardness): AI가 긴 작업을 할 때, 대화가 길어질수록 용량이 차면서 일관성을 잃고 할 일이 남았는데도 스스로 작업을 조기 종료해버리는 현상이야.
3. 자기 평가: AI가 자기가 한 일을 평가해달라고 하면, 아무리 품질이 떨어져도 무조건 잘했다고 칭찬하는 경향이 있어.

이런 문제들은 AI가 부족해서가 아니라, AI가 일 잘할 수 있는 환경이 없어서 생기는 거야.

클로드 코드에서 하네스 엔지니어링 어떻게 할까?

클로드 코드는 AI가 일할 수 있는 환경, 즉 하네스를 제공해. 하지만 이건 빈 틀이고, 어떤 규칙을 넣고 어떤 제한을 걸지는 우리가 직접 설계해야 해.

1. 클로드 MD 파일에 규칙 전달: AI가 실수를 할 때마다 그 실수를 방지하는 규칙을 문서에 적어두는 거야. 클로드 MD 파일에 프로젝트 규칙을 적어두면 매 세션마다 자동으로 로드돼서 기억 소실 문제를 해결할 수 있어.
2. 위험한 것 차단 (퍼미션): 클로드 MD로 규칙을 알려주는 것과 아예 못하게 막는 건 달라. 퍼미션 기능을 사용하면 파일을 읽는 건 허용하되, 파일을 삭제하는 건 실행 자체를 차단할 수 있어.
3. 자동 검증 (훅): 클로드 MD에 테스트를 꼭 해달라고 적어둘 순 있지만, 이건 부탁일 뿐이야. 훅 기능을 사용하면 자동으로 실행되니깐 AI가 우회할 수 없어.
4. 테스트 도구 활용: AI한테 퍼피티어나 플레이라이트 같은 테스트 도구를 제공해서 실제 브라우저처럼 작동하고 테스트하게 하는 거야.
5. 만드는 AI와 검증하는 AI 분리: 코드를 생성하는 AI와 그 결과를 검증하는 AI를 따로 두는 거지. 이렇게 하면 검증 전문 AI가 더 객관적으로 평가할 수 있어. 클로드 코드에서는 서브 에이전트를 활용하거나 별도 컨텍스트에서 코드 리뷰하는 방식으로 적용할 수 있어.
6. 모델 발전에 따른 하네스 진화: AI 모델이 발전하면 예전에는 필요했던 제약이 더 이상 필요 없어질 수도 있어. 모델이 좋아져서 혼자 할 수 있게 되면 하네스도 그에 따라 진화하는 거지.

결론적으로 하네스 엔지니어링은 AI가 일을 잘할 수 있는 환경을 만드는 것이야. AI가 이상한 결과를 내면 환경을 바꿔보는 걸 시도해봐! 클로드 MD에 규칙 한 줄 추가하는 것만으로도 결과가 달라질 수 있어.