서핑베어
홈 › 블로그 › 도입 후 90일
AI 도입 후 90일 — 무엇을 측정하고 무엇을 무시하나
도입 직후에 측정하면 대개 나쁘게 나옵니다. 학습 곡선이 있기 때문입니다. 그래서 언제 무엇을 보는지가 중요합니다.
30/60/90일 측정 항목 무시할 지표
결론부터
90일을 세 구간으로 나눕니다. 30일은 사용률, 60일은 효율, 90일은 성과입니다. 순서를 뒤집어 30일에 성과를 요구하면 대개 프로젝트가 중단됩니다.
그리고 처음부터 무시해야 하는 지표가 있습니다 — 생성 건수, 사용 시간, 도구 내부 점수. 늘리기 쉽고 업무 성과와 관계가 약합니다.
30일 — 사용률만 본다
주간 활성 사용자 — 좌석 대비 실제 사용 인원. 이 숫자가 낮으면 다른 모든 측정이 무의미합니다.
사용 중단 지점 — 쓰다가 멈춘 사람들에게 이유를 물으세요. 대개 통합 문제이거나 용도가 불분명한 문제입니다.
용도 집중도 — 어떤 작업에 실제로 쓰이는지. 예상과 다른 용도에 쓰이는 경우가 많고, 그 정보가 다음 단계를 정합니다.
60일 — 효율을 본다
건당 소요 시간 — 도입 전 기록과 비교합니다. 기록이 없으면 이 시점에 측정 자체가 불가능해집니다.
건당 검수 시간 — 가장 중요하고 가장 자주 누락됩니다. 이 시간이 줄어드는 추세인지 확인하세요 — 줄지 않으면 프롬프트나 절차 문제입니다.
재작업 비율 — 결과를 다시 만들어야 했던 비율. 초기에 높고 점차 내려가는 것이 정상입니다.
사용량과 비용 — 실제 사용량 기준 월 비용. 예상과 크게 다르면 요금제를 재검토할 시점입니다.
90일 — 성과를 본다
업무 총 소요 시간 — 개별 건이 아니라 그 업무 전체에 쓰인 월 시간. 건당 시간이 줄었는데 총 시간이 그대로면, 늘어난 처리량이 그만큼 흡수한 것입니다.
품질 지표 — 오류율, 재작업, 클레임. 시간이 줄었는데 품질이 나빠졌다면 절감이 아닙니다.
확산 판단 근거 — 다른 팀으로 넓힐 가치가 있는지. 여기까지의 숫자가 그 근거입니다.
중단 판단 — 기대에 크게 못 미치면 명시적으로 중단하고 이유를 기록하세요. 방치된 도구가 다음 시도의 예산을 소진합니다.
무시할 지표
| 지표 | 왜 무시하나 |
|---|---|
| 생성 건수·요청 수 | 늘리기 쉽고 업무 성과와 무관합니다 |
| 도구 사용 시간 | 오래 쓰는 것이 잘 쓰는 것은 아닙니다 |
| 도구 내부 점수·해결률 | 정의가 벤더 기준이고 우리 기준과 다릅니다 |
| 만족도 설문(초기) | 초기 만족도는 신기함이 섞입니다. 90일 뒤에 물으세요 |
자주 묻는 질문
도입 전 숫자를 기록하지 않았습니다.
지금이라도 현재 숫자를 기록하세요. 도입 전 비교는 못 하지만, 앞으로의 개선은 측정할 수 있습니다. 그리고 담당자 기억으로 대략의 이전 값을 적어 두되, 추정치임을 명시하세요.
30일에 성과를 보고해야 하는 상황입니다.
사용률과 초기 효율을 보고하고, 성과 측정 시점을 90일로 명시하세요. 30일 성과를 억지로 만들면 이후 신뢰를 잃습니다. 학습 곡선이 있다는 사실 자체가 보고 내용이 됩니다.
검수 시간이 줄지 않습니다.
프롬프트와 절차를 먼저 보세요. 대개 입력이 일정하지 않거나, 출력 형식이 정해지지 않은 문제입니다. 도구를 바꾸기 전에 이 둘을 고정해 보세요.
90일 뒤에도 애매하면?
중단하는 편이 낫습니다. 애매한 상태로 유지되는 도구는 비용은 확실하고 효과는 불확실합니다. 중단 이유를 기록하면 다음 시도의 자산이 됩니다.