QUALITY REVIEW
품질 개선·변경 관리
AI 결과가 업무 기준에 맞는지 확인할 방법을 정합니다.
평가할 결과의 종류와 검토 책임자를 먼저 구분합니다.
결과가 맞는지 판단하기 어려운 업무에서는 기대하는 내용과 허용할 예외를 문장으로 정리하는 일부터 시작합니다. 평가 기준이 없는 상태라면 개선을 약속하기보다 기준을 만들기 위해 필요한 자료와 담당자를 협의합니다.
설명용 예시
- 대상 업무: 결과의 정확성이나 형식을 확인하려는 작업
- 기대 결과: 담당자가 유용하다고 판단하는 조건
- 검토 책임: 결과 승인과 예외 판단을 맡는 사람
ACCEPTANCE CRITERIA
판단할 항목과 허용할 수 없는 결과를 나눕니다.
기준은 업무 목적에 맞고 검토자가 같은 방식으로 적용할 수 있어야 합니다.
결과의 필수 항목, 빠지면 안 되는 정보, 근거가 필요한 표현, 형식 규칙을 구분해 적습니다. 측정할 자료가 없는 항목은 점수로 꾸며 채우지 않고 확인 질문으로 남깁니다.
필수 조건:
결과에 있어야 하는 내용과 형식
예외 조건:
사람이 별도로 확인해야 하는 상황
판정 주체:
기준 해석이 갈릴 때 승인할 담당자
TEST MATERIAL
비교 자료를 사용할 권한과 정답의 근거를 확인합니다.
샘플은 실제 업무를 대표하는지와 공유할 수 있는지를 함께 살핍니다.
평가 자료에는 입력 내용, 기대 결과, 판정 이유가 연결돼야 합니다. 일부 사례만으로 전체 업무의 품질을 단정하지 않고 자료가 대표하지 못하는 조건도 표시합니다.
- 자료 출처: 업무상 사용 권한과 공유 가능 범위
- 기대 결과: 기준을 정한 사람과 판단 근거
- 한계 기록: 포함되지 않은 입력 유형과 업무 예외
FAILURE REVIEW
실패한 출력과 그때의 입력 조건을 나란히 기록합니다.
결과가 잘못된 지점과 원인이 확인된 지점을 구분합니다.
누락, 근거 부족, 형식 불일치, 업무 조건 오해처럼 관찰 가능한 현상을 먼저 분류합니다. 동일한 조건에서 확인할 수 있는 자료가 있는지 살피고 다음 시험의 질문으로 바꿉니다.
- 관찰 결과: 기준과 다른 출력의 위치
- 발생 조건: 입력·지침·자료·업무 흐름에서 확인한 것
- 분석 한계: 원인 판단에 더 필요한 정보
CHANGE CANDIDATES
확인된 원인에 대응하는 변경 후보를 정리합니다.
한 번에 여러 요소를 바꾸면 어떤 변화가 영향을 줬는지 알기 어렵습니다.
분석 자료를 토대로 지침을 보완할지, 자료 정리 방식을 바꿀지, 도구와 검토 흐름을 조정할지 후보를 나눕니다. 선택한 변경은 책임자 승인과 시험 자료 준비 여부를 확인한 뒤 진행합니다.
- 변경 항목: 지침·입력 자료·도구·업무 검토 단계
- 목적: 어떤 실패 유형을 줄이거나 발견하려는지
- 선행 확인: 권한·지원 범위·변경 승인 주체
COMPARISON
변경 전후에 같은 기준을 적용할 수 있게 시험을 설계합니다.
비교 자료와 검토자를 고정해야 차이를 해석할 수 있습니다.
기준 자료에 동일한 평가 규칙을 적용하고, 변경한 항목과 시험 조건을 기록합니다. 시험 결과에 따라 반영, 추가 확인, 보류 중 어떤 결정을 할지 미리 정합니다.
비교 기준: 변경 전·후에 공통으로 사용할 평가 항목
검토 방법: 자동 형식 확인과 담당자 내용 검토
판단 기록: 확인된 차이·자료 한계·후속 선택
RELEASE REVIEW
시험 결과와 승인 조건을 확인한 뒤 반영 여부를 결정합니다.
변경을 되돌릴 수 있는지와 운영 중 확인할 내용을 함께 준비합니다.
결과가 기준을 충족했는지뿐 아니라 주변 업무와 권한에 미치는 영향도 확인합니다. 배포·복구 책임과 지원 범위는 자료가 없어 상담 후 안내합니다.
승인:
업무 책임자의 시험 결과 확인
준비:
변경 내용·영향 대상·복구 조건 기록
반영 판단:
적용·추가 시험·보류 중 선택
REVIEW ROLES
업무 정답을 판단하는 역할과 기술 변경 역할을 나눕니다.
품질 기준을 만드는 사람과 설정을 바꾸는 사람은 다를 수 있습니다.
고객 업무 담당자는 결과가 업무 목적과 정책에 맞는지 설명하고 예외를 판단합니다. 책임과 승인 절차는 조직의 실제 운영 구조를 확인해 합의합니다.
업무 담당자: 결과의 사용 가능 여부와 허용 예외 판단
관리 담당자: 기술 변경·시험 기록·운영 반영 준비
승인자: 남은 위험과 업무 영향에 대한 최종 결정
REVIEW REPORT
확인한 변화와 판단의 한계를 함께 기록합니다.
측정하지 않은 결과는 수치로 표현하지 않습니다.
보고에는 평가 목표, 사용 자료, 변경 항목, 확인한 차이, 사람이 검토한 결과를 연결합니다. 후속 시험이나 운영 반영을 선택했다면 담당자와 필요한 승인 절차를 덧붙입니다.
설명용 예시
변경 전
평가 목표 · 사용 자료 · 변경 항목
변경 후
확인 내용: 기준에 비춘 관찰 결과와 판정 근거
제약: 대표하지 못한 자료와 미검증 조건
다음 작업: 추가 시험·보류·반영 준비
기준 설정, 자료 검토, 실패 분류, 변경 시험, 운영 판단을 연결한 흐름의 설명용 예시입니다.
NEXT STEP
개선이 필요한 결과와 현재의 판단 기준을 알려 주세요.
품질 문제를 설명할 수 있는 자료와 검토 담당자를 함께 확인합니다.
기대한 결과와 다르게 나온 내용을 민감 정보를 제외해 설명해 주세요. 확인 자료가 없어 성과 수치는 상담 후 안내하며, 변경 시험 범위는 사용 비용·운영 최적화와 함께 살펴 협의합니다.
- 전달할 내용: 업무 목적·기대 결과·관찰된 차이
- 준비할 자료: 공유 권한을 확인한 샘플과 평가 기준
- 다음 행동: 평가 설계와 변경 검토 담당자 협의