“AI, 너 내 동료가 되라!” – QA팀의 위대한 항로 도전기
최종 수정일: 5시간 전
안녕하세요. 저는 드림어스컴퍼니 QA팀에 새로운 동료가 된 보나입니다!

일을 할때나, 혼자 쉴때나, 친구들과 함께 있을때나 제가 좋아하는 음악을 듣고 또 들려주는 걸 좋아했는데,음악 스트리밍 회사에 입사해서 덕업일치 아닌가? 싶은 즐거운 마음으로 출근하고 있습니다!
사실 이번이 첫 이직이라 정말 긴장한 채로 사무실 문을 열었던 게 지난 4월인데요,벌써 한 해의 끝자락인 걸 보면 꽤 정신없고 인상 깊은 2026년을 보낸 것 같습니다.
그래서 올해를 정리하는 마음으로, 저희 QA팀은 어떤 팀인지, 또 AI를 통해 개발자가 아닌 QA엔지니어가 어떤 도구를 만들면서 업무에 적용하고 있는지 글로 남겨보고자 드림어스컴퍼니 블로그를 쓰게 되었습니다.
면접 때부터 AI 도구를 업무에 적극적으로 활용하고,일하는 방식을 효율적으로 개선해 나간다는 점이 인상 깊었고 가장 기대되는 부분이었는데, 입사해 보니 정말 그랬어요.팀원 분들마다 AI로 일을 더 편하게 만들 방법을 찾고,좋은 아이디어가 나오면 바로 실제 업무에 적용해 보는 데 열려 있는 조직이라는 걸 몸소 느끼고 있습니다!
팀에 적응해 가며 동료들과 이야기를 나눠 보니 지금의 FLO QA팀이 되기까지 생각보다 많은 일이 있었더라고요.먼저, QA팀에 변화를 이끈 리더 에렌의 이야기를 들어봤습니다.
Part 1. 매니징 팀에서 엔지니어 팀으로
👩🏻🎓 보나 에렌. 이전의 FLO QA팀은 어떤 분위기였나요?
🧑🏻✈️ 에렌 당시 FLO QA팀의 업무는 주로 매니징에 집중되어 있었어요. 실제 테스트는 외주 인원들이 전담하다 보니, 내부 팀원들은 일정 관리나 테스트 데이터 세팅, 개발자와의 소통 같은 관리 업무에 많은 시간을 쏟아야 했죠. 앱 자동화 환경이 일부 있긴 했지만 운영 모니터링 목적이 컸고, QA팀이 주도적으로 다루는 상황은 아니었어요.
👩🏻🎓 보나 그럼 에렌이 합류했을 시점엔 QA팀이 직접 하는 자동화는 거의 없었던 거네요?
🧑🏻✈️ 에렌 맞아요. 당시 QA팀은 대규모 외주 인원들과 협업하며 매 릴리스 일정을 책임 지는데 모든 리소스를 쏟고 있었어요
주어진 환경 속에서 팀원들은 그 역할을 정말 책임감 있게 해냈죠
다만 3,000개가 넘는 회귀 테스트를 직접 챙기고 수많은 인력과 소통하다 보니, 당장의 릴리스를 넘어 '자동화'로 전환할 물리적 여력을 내기가 어려웠습니다.
저는 그 점이 가장 아쉬웠어요. 눈앞의 과제를 수행하느라 QA 엔지니어들이 기술적으로 성장하고 프로세스를 고도화할 시간이 자연스럽게 줄어드는 구조였으니까요

👩🏻🎓 보나 올해부터 외주 협력사 중심 운영에서 내부 인원 중심 체계로 전환했다고 들었어요.
🧑🏻✈️ 에렌 네, 대량의 테스트를 사람의 수작업에 의존하는 방식에서 한 단계 나아가야 할 시점이 됐어요. 서비스가 안정기에 접어들면서 회귀 테스트는 매번 반복되는데, 이를 계속 인력 투입으로만 감당하기에는 한계가 있었거든요그래서 QA팀도 다음 단계를 고민하게 됐죠
그동안 외주 협력사 분들이 서비스 품질을 든든하게 받쳐 주셨고 그분들과 함께 쌓아 온 테스트 경험과 노하우가 있었기에 자동화와 AI라는 새로운 방식에 도전해 볼 수 있었어요. 이번 전환은 기존 방식을 부정하는 것이 아니라 그 위에서 쌓은 경험을 다음 단계로 발전시키는 일이라고 생각해요
그때부터 적은 인원으로도 품질을 지키려면 어떻게 해야 할지 고민했어요. 반복되는 수동 회귀 테스트는 AI 도구와 자동화로 전환해야 했고 그러려면 먼저 팀의 체질 개선이 필요했죠. 그래서 테스트 수행과 운영 관리 중심이던 팀을 자동화와 AI 같은 기술을 직접 설계하고 다루는 엔지니어링 중심의 팀으로 키워 가는 것이 제 첫 번째 목표였습니다.
👩🏻🎓 보나 쉽지는 않았을 것 같아요.
🧑🏻✈️ 에렌 당연히 쉽지 않았죠. 오랫동안 메뉴얼 테스트 기반의 프로세스에 익숙해져 있다 보니 갑자기 자동화로 바꿨을 때 품질에 구멍이 나지 않을까 하는 우려들이 있었어요 어떻게 보면 기존 방식에 갇혀 새로운 변화를 낯설어하는 당연한 반응이었죠그래서 말로 설득하기보다는 제가 직접 자동화 환경을 세팅하고 간단한 기능 몇 개를 만들어 보여 줬어요사람이 손으로 하던 걸 커맨드 한 번으로 플랫폼별로 수행 할 수 있다는 걸 눈으로 확인시켜 주고 싶었거든요
그리고 일단 부딪혀 보자고 했어요 두 달쯤 지나서 팀 해커톤을 열었고 각자 AI로 기존 업무의 생산성을 끌어올릴 도구를 만들어 발표하는 시간을 가졌어요처음엔 낯설어했지만 결과는 생각보다 괜찮았고 그때 나온 프로토타입들 중에는 다음과 같은 도구들이 있었습니다.이중에는 다듬어서 지금까지 실무에 쓰고 있는 것도 있어요 (아련한 추억~)
기획 문서를 바탕으로 Testcase를 생성해주는 도구
기존에 흩어져 있던 여러 서비스 도메인 스펙 등을 QnA 형식으로 AI를 통해 쉽게 찾아주는 도구
QA 일정 관련 된 여러 정보를 슬랙 봇으로 자동화 해주는 도구

👩🏻🎓 보나 그럼 팀원들한테 가장 바라던 건 뭐였어요?
🧑🏻✈️ 에렌 AI로 도구를 만들고 자동화 코드를 하나씩 다뤄보다 보면 자연스럽게 기술적인 자신감이 생기고 다른 것도 시도해 보고 싶어지거든요 그런 능동적인 분위기를 만들고 싶었어요
처음엔 AI가 만들어 준 결과물만 가져다 쓰고 구조는 잘 안 보는 경우도 있었어요
하지만 제가 바랐던 건 막히더라도 직접 코드를 뜯어보고 원리를 고민하며 끝까지 문제를 해결해 보는 과정이었어요 다행히 조금만 들여다보면 충분히 해낼 수 있는 역량들이 있었고 다들 그 변화를 잘 따라와 줬습니다.

👩🏻🎓 보나 그렇다면 에렌이 생각하는 QA는 어떤 직무예요?
🧑🏻✈️ 에렌 저는 이제 QA가 단순히 주어진 테스트만 반복하는 직무에 머물러서는 안 된다고 생각해요 서비스 품질을 지키고 개선하기 위해 주도적으로 아이디어를 내고 품질을 보증하기 위한 도구를 직접 개발해 실무에 적용하는 직무에 가깝다고 봅니다.
테스트는 그중 하나의 수단일 뿐이고요 품질을 높이는 일이라면 어디든 적극적으로 기여하는 엔지니어로 자리 잡아야 한다고 생각합니다.
에렌이 말한 '직접 만들어 보면서 성장하는 팀'은 실제로 어떤 모습일까요?
이후 실제 업무 도구로 자리 잡은 사례 중 하나를 쇼니에게 들어봤습니다.
Part 2. QA 결과 보고서 자동 생성
👩🏻🎓 보나 쇼니 QA 결과 보고서는 어떻게 만들게 됐어요?
👩🏻💻 쇼니 QA가 끝나면 결과를 모아 보고서를 써야 하는데 그 결과가 여기저기 흩어져 있었어요 통합 테스트 결과는 구글 시트에 회귀 테스트 결과는 Robot Framework 리포트로 Jira에 zip 파일로 첨부돼 있고 수동 체크리스트는 또 다른 시트에 있었거든요 보고서 하나를 만들려면 이걸 하나씩 열어서 옮겨 적어야 했죠 정리하는 시간보다 찾아다니는 시간이 더 길 정도였어요
그래서 세 가지를 해결하고 싶었어요 요청 하나만 고르면 흩어진 결과를 한 화면에서 볼 수 있게 하는 것 Jira에 첨부된 자동화 결과를 내려받지 않고 포털에서 바로 확인하는 것 그리고 결과 공유까지 Slack으로 자동화하는 것이요
👩🏻🎓 보나 아… 그 zip 파일… 저도 매번 내려받아서 풀어 봤던 기억이 나네요 그렇다면 구조는 어떻게 짰어요?
👩🏻💻 쇼니 아래 그림을 보면 이해가 쉬워요 사내 QA 포털인 QRS에 결과 모듈을 만들고 이 모듈이 Jira 회귀 에픽, 구글 시트, Robot Framework 결과를 한곳으로 가져와요 거기서 인증하고 파싱하고 집계한 다음 QA 포털의 결과 메뉴와 Slack으로 내보내는 흐름이에요.참고로 QA 포털은 저희 팀이 AI로 만든 QA 일정 관리, QA 결과, TC Maker, Easy Flow, Data Helper 등 다양한 QA 도구를 모아 둔 전사용 QA 시스템이에요. 그중 QA 결과 메뉴는 QA 보고서를 유관 부서 누구나 볼 수 있게 모아 둔 공간이고요.

👩🏻🎓 보나 개발하면서 가장 오래 붙잡고 있던 문제는 뭐였어요?
👩🏻💻 쇼니 의외로 코드가 아니었어요 제일 오래 걸린 건 환경 문제 두 가지였어요
첫 번째는 .gitignore 문제였어요 QRS는 다른 팀원들과 같은 저장소에서 작업하는데 제 로컬에서는 잘 돌아가던 게 공용 서버 빌드에서만 Module not found가 나는 거예요 확인해 보니 제가 만든 파일 일부가 서버에 아예 없더라고요
처음엔 'git add를 빠뜨렸나 .gitignore가 문제인가?' 하고 하나씩 의심해 봤는데 둘 다 아니었어요 결국 git check-ignore -v로 어떤 규칙이 막고 있는지 직접 확인했죠 범인은 저장소 루트 .gitignore에 있던 Python용 lib/ 규칙이었어요 앞에 / 없이 쓴 규칙이라 저장소 안의 모든 lib 폴더에 적용됐고 그 바람에 제 src/lib/ 폴더 전체가 커밋에서 조용히 빠지고 있었던 거예요 다른 프로젝트를 위한 설정이 제 코드를 막고 있었던 거죠
해결은 간단했어요 루트에 src/lib/ 예외 규칙을 추가하고 빠진 파일을 다시 커밋했어요 그 뒤로는 비슷한 문제가 생기면 추측하기 전에 check-ignore부터 확인해요 공용 저장소에서는 제 작업 영역을 분명히 정해서 다른 팀원 코드를 건드리지 않도록 하고 있고요
두 번째는 구글 시트의 TC를 읽어올 때 생긴 권한 문제였어요 제 계정으로 잘 열리던 시트가 서버에서는 권한 오류가 나더라고요. 서버에는 제 로그인 정보가 없으니, 시트 입장에서는 '모르는 사용자'였던 거죠.
그래서 구글이 서버 간 연동에 권장하는 표준 방식인 서비스 계정을 사용했어요. 사람이 로그인하는 계정이 아니라 프로그램 전용 계정이라, 필요한 폴더에만 꼭 필요한 권한을 따로 줄 수 있거든요. 시트를 외부에 공개하지 않으면서 도구가 필요한 데이터만 가져올 수 있게 된 거죠.
👩🏻🎓 보나 배포하고 나서 가장 먼저 체감한 변화는 뭐였어요?
👩🏻💻 쇼니 보고서 작성 시간이요 예전에는 흩어진 결과를 찾아 모으고 이슈를 필터링하고 하나하나 옮겨 적으며 검토하느라 보고서 한 건에 60분 정도 걸렸어요 지금은 10분이면 끝나요 약 83%가 줄었죠. 이 작업은 팀 OKR 이였던 ‘AI 도구 활용을 통한 QA 운영 반복·수동 업무 리소스 절감'의 일부이기도 했어요. 덕분에 그 시간을 옮겨 적는 데가 아니라 결과를 해석하고 이슈를 판단하는 데 쓸 수 있게 됐어요

공유 방식도 달라졌어요 전에는 담당자를 일일이 찾아 태그해야 했고 공유 형식도 사람마다 제각각이었는데 이제는 정해진 형식으로 한 번에 나가요

의외의 효과도 있었어요 회귀 테스트 결과는 원래 Slack으로 따로 공유하지 않던 영역이었는데 취합이 자동화되면서 같이 나가기 시작했어요 일부만 알던 자동화 결과를 협업 부서 전체가 자연스럽게 보게 된 거죠 디바이스 별 Pass Rate와 소요 시간까지 바로 보이니까 회귀 상태를 파악하는 속도도 빨라졌고요
결국 시간만 줄어든 게 아니었어요 정리하던 시간이 판단하는 시간으로 바뀌었고 공유되지 않던 정보까지 공유되기 시작했죠
👩🏻🎓 보나 공감합니다! 딸-각 버튼 한번이면 결과서 생성부터 공유까지 얼마나 편리한지 몰라요 그렇다면 직접 개발해 보면서 새롭게 알게 된 점이 있을까요?
👩🏻💻 쇼니 도구를 만드는 일이 시간을 줄이는 데서 끝나지 않고 일하는 방식 자체를 바꿔 준다는 거예요 권한 설정이나 공용 저장소 문제처럼 QA 업무만 할 때는 몰랐던 것들을 새로 배워야 했고 그 과정에서 QA로서 한 단계 성장했다고 느꼈어요
아쉬운 점도 있어요 효율을 제가 하던 업무 안에서만 생각했다는 거예요 하던 일을 빠르게 만드는 데는 성공했지만 새로운 일을 만들거나 기존 업무를 다른 방식으로 바꾸는 데까지는 가지 못했어요
👩🏻🎓 보나 그럼 앞으로는 어떻게 발전시켜 나갈 계획이에요?
👩🏻💻 쇼니 다시 한다면 처음 설계할 때부터 '이 구조를 다른 업무나 협업 부서에서도 쓸 수 있을까?'를 같이 고민할 것 같아요 그래서 지금은 그 첫걸음을 어디서 뗄지 고민하고 있어요 흩어진 데이터를 한곳에 모으고 정해진 형식으로 공유하는 구조는 QA 보고서가 아니어도 필요한 곳이 많을 거라 생각하거든요 협업 부서 분들과 이야기를 나눠 보면서 이 도구가 QA팀 밖에서도 쓰일 수 있는 지점을 찾아보려고 해요!
Part 3. Data Helper, 테스트 데이터 세팅
끝으로는 저의 Data Helper 개발기를 이야기 드리고자 하는데요
이번에는 자리를 바꿔 쇼니가 저를 인터뷰해 줬습니다.
👩🏻💻 쇼니 보나 Data Helper는 어떤 도구예요?
👩🏻🎓 보나 Data Helper는 QA가 테스트할 때 필요한 계정, 이용권, 결제 상태 같은 테스트 데이터를 한 화면에서 바로 세팅할 수 있게 만든 내부 툴이에요
입사 후 QA를 하다 보니 테스트 자체보다 테스트 데이터를 세팅하고 유관 부서에 요청하는 데 시간이 꽤 많이 든다는 걸 알게 됐어요 계정을 만들고 FLO 이용권을 붙이고 결제 컨트롤을 걸고 성인 인증을 처리하고,리캡차 화이트리스트에 등록하고 T멤버십까지 적용하는 작업이 전부 따로따로 흩어져 있었거든요
사이트를 몇 개씩 열었다 닫았다 하면서 수동으로 처리하다 보니 테스트 환경 하나 세팅하는 데도 시간이 꽤 걸렸고 반복될수록 피로도도 컸어요 그래서 '이 흩어진 작업들을 하나로 모으면 QA 사이클 자체가 짧아지지 않을까?' 하는 생각에서 시작하게 됐어요
👩🏻💻 쇼니 처음 만들 때 어디까지 담으려고 했어요?
👩🏻🎓 보나 목표는 두 가지였어요 하나는 통합이에요 흩어진 세팅 기능을 한 화면에 모으는 거죠 다른 하나는 최소 입력이에요 회원번호 같은 핵심 값만 넣으면 나머지는 도구가 알아서 처리하게 하는 거예요
반대로 범위는 일부러 좁혔어요 모든 걸 다 하는 도구가 아니라 QA가 실제로 자주 쓰는 세팅만 담기로 했어요

👩🏻💻 쇼니 개발하면서 가장 오래 붙잡고 있던 문제는 뭐였어요?
👩🏻🎓 보나 스펙을 파악하는 일이었어요 전달받은 Swagger와 기존 테스트 사이트만으로는 어떤 API가 무슨 값을 받고 무엇을 돌려주는지 한눈에 알기가 쉽지 않았거든요 그래서 기존 세팅 페이지를 브라우저 개발자 도구로 열어 놓고 버튼을 하나 누를 때마다 네트워크 탭에서 요청을 하나씩 확인했어요 어떤 주소로 어떤 body를 보내는지 응답은 어떤 구조로 오는지 일일이 눈으로 따라간 거죠
그렇게 뜯어낸 요청과 응답을 Claude에게 보여 주면서 이 필드가 무슨 뜻인지, 꼭 필요한 값은 뭔지 하나씩 맞춰 갔어요. 그 결과로 나온 게 좌측 메뉴 형태의 Helper 첫 화면이에요
현재는 리뷰 단계에서 사전 셋팅이 필요한 케이스들을 담당 개발자분께 말씀드리고, 전달받은 테스트용 API를 Helper에 붙히고 있어요. 이렇게 하니 테스트 도중에 데이터가 없어서 멈추고 개발자분께 요청한 뒤 기다리는 일이 줄었고, 예전엔 만들기 어려워서 건너뛰던 경계값이나 예외 케이스도 버튼 몇 번으로 확인할 수 있게 됐어요. 한 번 붙여 둔 기능은 다음 QA나 회귀 테스트 때도 그대로 쓸 수 있으니, 준비 시간이 줄어드는 구조가 된거죠
QA 입장에서는 "테스트 데이터를 언제, 어떻게 만들지"까지 설계 단계에서 함께 고민하게 됐다는 게 가장 큰 변화인 것 같아요
👩🏻💻 쇼니 배포하고 나서 가장 먼저 체감한 변화는 뭐였어요?
👩🏻🎓 보나 역시 시간이에요. 예전에는 계정 세팅 1건에 계정 생성 10분, 이용권 생성 5분, 여러 사이트를 오가는 시간 3분까지 합쳐서 18분쯤 걸렸어요 지금은 계정 생성부터 이용권, 리캡차 등록까지 한 화면에서 1~2분이면 끝나요 통합 테스트 6건과 회귀 테스트 8건, 총 14건을 QA 3명이 진행한 걸로 계산하면 약 11.5시간을 줄인 셈이에요
그리고 처음엔 QA팀에서 쓰려고 만든 도구였는데, 지금은 FLO 전체 구성원이 쓸 수 있도록 배포됐어요. 이제는 QA팀뿐 아니라 전사 누구나 쉽고 빠르게 테스트 데이터를 세팅할 수 있게 됐죠

👩🏻💻 쇼니 저도 쓰고 있는데 사이트 여러 개 안 열어도 되는 게 제일 편하더라고요. 직접 만들어 보면서 새롭게 알게 된 점도 있어요?
👩🏻🎓 보나 가장 크게 느낀 건 모르는 걸 혼자 끝까지 파고드는 힘이 생겼다는 거예요 예전 같으면 바로 개발자분께 물어봤을 것들을 AI에게 먼저 묻고 이해하고 직접 적용해 보기를 반복하다 보니 API가 어떻게 생겼는지 서버와 화면이 어떻게 연결되는지 자연스럽게 알게 됐어요
👩🏻💻 쇼니 앞으로는 어떻게 발전시켜 나갈 계획이에요?
👩🏻🎓 보나 디자이너와 서버 개발자분들도 더 편하게 쓸 수 있게 넓히는 게 다음 목표예요. 테스트 데이터 세팅이나 서버 개입이 필요한 테스트 케이스도 Helper에 API를 붙여서 간편하게 처리할 수 있게 하는 거죠. 그렇게 되면 유관 부서분들도 테스트 기간에 훨씬 쉽게 들어와서 품질을 함께 살펴볼 수 있지 않을까 싶어요!
마치며
6개월 전 ‘내가 저걸 할 수 있을까?’ 하며 긴장했던 제가 지금은 직접 만든 도구로 일하고 그 이야기를 이렇게 글로 남기고 있네요
돌아보면 FLO QA팀의 변화는 거창한 기술보다 “일단 해 보자“는 작은 시도들이 쌓여 만들어진 것 같아요
저희의 항로는 품질을 직접 만들어 내는 엔지니어 팀을 향하고 있어요.
처음엔 낯설어서 머뭇거렸던 작은 한 걸음이 어느새 팀 전체를 같은 방향으로 노를 젓게 만들었고요
아직 갈 길은 남아 있지만, 우리팀 모두가 각자 잘하는 영역에서 “일단 해 보자“를 이어 간다면 저희의 항해는 멈추지 않을거라 믿습니다!!!
위대한 항로 끝에서 더 단단한 품질을 만나는 그날까지 저희는 계속 나아가겠습니다.



댓글