테스트 관리 도구 정리 To-Be

목적: 수동·탐색적·자동화 테스트를 하나의 중앙 플랫폼에서 계획–실행–검증–보고–추적까지 종단간으로 통합하여 품질 가시성, 추적성, 효율성을 극대화.
핵심 가치
- 중앙화: 프로젝트·모듈·시나리오·케이스·액티비티 전 수명주기 통합 관리
- 재사용/유연: 공유 단계, 템플릿, 파라미터화, 커스텀 필드/알림/템플릿
- 추적성: 요구사항–테스트–결함 양방향 연계, 버전/승인/감사 로그
- 통합: Jira/CI·CD/자동화 프레임워크/CSV·XML/REST API/CLI/Webhook
- 품질보장: 정답지 자동 비교, 승인 프로세스, 커버리지 분석, 결과 고정(Freeze)
- 보안/준수: SSO/MFA, RBAC, 암호화, 감사 로그, 온프레미스/클라우드 선택
기대효과: 결함 유출 감소, 릴리스 의사결정 신뢰도 제고, 보고 자동화, 반복업무 절감, 전사 표준화·거버넌스 강화

현행 이슈
- 테스트 자산 분산, 수동 보고, 자동화/수동 단절, 추적성·감사 대응 부담, 대시보드 부재
추진 원칙
- 표준화: 전사 공통 템플릿·명명규칙·승인 정책
- 자동화: CI/CD 연계 결과 자동 수집·보고·결함 등록
- 가시화: 실시간 대시보드·정기 리포트, 크로스 프로젝트 분석
- 보안·준수: 최소권한, 인증강화, 감사 일원화
추진 전략
- 1단계(파일럿): 핵심 프로젝트로 PoC, 요구사항 대응 검증
- 2단계(확산): 데이터 마이그레이션, 교육/정착, 표준 템플릿 보급
- 3단계(고도화): 정답지·알림 시나리오 확대, 자동 결함, AI·TIA 도입

요구 항목제안 기능/방법충족

중앙화된 관리	프로젝트–모듈–Plan–Suite–Case–Activity 계층 중앙 저장소	충족
재사용성	공유 단계, 케이스/스위트 재사용·복제, 템플릿, 파라미터화	충족
유연성	커스텀 필드/템플릿, 사용자 변수/환경 변수, UI 스크립트	충족
이력 추적	버전 관리, 변경/승인 이력, 결과 고정, 감사 로그	충족
통합성	CSV/XML Import, Jira/이슈·CI/CD/자동화/REST/CLI/Webhook 연계	충족
품질 보장	승인 워크플로, 정답지 자동 비교, 커버리지·추적성 리포트	충족
보안/인증	SSO(MFA), RBAC, 암호화, 프로젝트 수준 관리	충족
다국어 UI	한국어 기본, 다국어 리소스 관리	충족
리포팅·대시보드	실시간 현황, 커스터마이즈 차트, 정기 리포트, 크로스 리포트	충족
접근성/표준(적용 시)	KWCAG 적용 검토, 전자정부 표준 준수 항목 설계 반영	충족(검토 후 반영)

마스터–인스턴스 분리: Test Plan(마스터) vs Test Execution(차수별 인스턴스)로 재현·감사 용이
정답지(Answer Sheet) 자동 비교: 기준 SQL(1번 WITH 가능) + 비교 컬럼(2~N) 지정 → 자동 비교 SQL 생성
알림(Notification): 테스트 종료 후 검증/스케줄 기반 독립 모니터링 → 조건 충족 시 이메일/SMS·결함 자동 생성
변수/파라미터화: 시스템 변수(testId/{scenarioId}/${testcaseId})·사용자/환경 변수·데이터 드리븐
대규모 일괄 생성·분산 실행: 전 계층 수행데이터 자동 생성, 각 시스템에서 실행 후 중앙 회신·집계
광범위 통합: Jira/ADO/GitHub, Jenkins/GitLab/GHA/Azure DevOps, Selenium/Playwright/Cypress/JUnit/TestNG/Appium, REST/CLI/Webhook

5.2 데이터 모델(요약)

핵심 엔터티: Project, Module, TestPlan, TestScenario(Suite), TestCase, Activity(Step), Execution(차수), Result, RequirementLink, DefectLink, NotificationRule, VariableSet, User/Role, AuditLog
핵심 관계: Plan 1–N Scenario, Scenario 1–N Case, Case 1–N Activity, Plan 1–N Execution, Execution 1–N Result

5.3 실행 흐름

설계(Plan/Suite/Case/Activity) → 2) Plan “생성”으로 차수+1 Execution 일괄 생성 → 3) 분산 시스템에 전송 → 4) SQL/자동화 실행(변수 치환) → 5) 결과 수집·정답지 비교·알림 → 6) 대시보드·리포트/결함 연동 → 7) 결과 고정(Freeze)·감사 보존

5.4 기능 상세(발췌)

About W3