Showing Posts From

목요일

목요일 저녁 6시, QA팀의 '심각도 높음' 리포트

목요일 저녁 6시, QA팀의 '심각도 높음' 리포트

목요일 저녁 6시 30분 슬랙이 울린다. QA팀장 메시지다. "이번 주 빌드 이슈 리스트 공유드립니다. 심각도 높음 17건입니다." 17건. 배포 D-3인데 17건. 커피 식었다. 다시 마신다. 쓰다.엑셀을 연다. QA 이슈 시트가 빨갛다. 심각도 높음. 게임 플레이 불가능하거나 진행 막히는 것들. 중간은 중요하지만 플레이는 되는 것. 낮음은 UI 어색하거나 텍스트 오타. 17건이면 많은 거다. 보통은 5건 이하. 첫 번째 이슈: 전투 스킵 버그 "전투 스킵 시 보상 2배 지급됨" 아. 이건 진짜 심각하다. 유저가 스킵으로 보상 파밍하면 경제 다 무너진다. 프로그래머한테 메시지 보낸다. "형 이거 급한데 오늘 안에 가능?" 답장 온다. "로직 확인 중. 1시간 뒤에 알려드림." 1시간. 기다린다.두 번째부터 다섯 번째: UI 겹침 "상점 팝업 위에 메일 알림 겹침" "던전 입장 시 파티 정보 안 보임" "설정 창에서 뒤로가기 안 됨" "튜토리얼 손가락이 버튼 벗어남" UI팀 일이다. 기획은 확인만 한다. 하나씩 재현해본다. 상점 팝업은 진짜 겹친다. 메일 숫자가 결제 버튼 가린다. 던전은... 아 파티원 4명일 때만 안 보이네. 설정 창은 뒤로가기 버튼이 비활성화됐다. 이건 왜? 튜토리얼은 해상도 문제다. 갤럭시 A시리즈에서만. 스샷 찍는다. UI 디자이너한테 공유. "확인했습니다. 내일 오전에 수정본 올릴게요." 내일 오전. 배포 D-2. 빡빡하다. 여섯 번째: 밸런스 이슈 "5성 캐릭터 '아리엘' 스킬 데미지 과다" 이건 내 파트다. 데이터 시트 연다. 아리엘 스킬 계수 확인. 기본 공격력 850, 스킬 계수 320%. 850 × 3.2 = 2720. 여기에 치명타까지. 같은 등급 다른 캐릭터는 평균 2000. 20% 높다. 의도한 건데. 아리엘은 신규 픽업 캐릭터. 좀 세게 만들었다. 근데 QA 코멘트 본다. "일반 던전 보스 5초 컷. 다른 캐릭터 무의미해짐." 5초. 그건 너무한데.시뮬 돌려본다. 무기 +10, 특성 풀강, 파티 버프까지 받으면. 초당 데미지 8500. 보스 체력 40000. 5초 맞네. 문제는 이게 의도인지 버그인지다. PD한테 메시지 보낸다. "아리엘 데미지 20% 상향이 의도 맞죠?" 답장 온다. "네. 픽업이라 강하게." "근데 QA에서 너무 세다고 올라왔는데요." "얼마나?" "보스 5초 컷이요." "..." "계수 280으로 낮출까요? 그럼 15초 정도." "그럼 욕먹는데. 픽업인데 약하다고." "지금은 다른 캐릭 의미 없다고 할 거 같은데요." "일단 그대로 가고 유저 반응 보자." 알겠다고 답한다. 이슈 시트에 적는다. "PD 확인. 현 수치 유지. 런칭 후 모니터링." 일곱 번째부터 열 번째: 서버 이슈 "동접 200명 이상 시 렉 발생" "친구 목록 100명 넘으면 로딩 10초" "길드 채팅 30초마다 끊김" "보상 수령 시 간헐적 오류" 서버팀 일이다. 근데 기획도 알아야 한다. 동접 200명은 테스트 서버 기준이다. 실섭은 동접 5만 예상. 200명에서 렉이면 5만 명은 터진다. 친구 목록은 왜 100명 제한 안 걸었지. 기획서 확인한다. 아 제한 없다고 써놨네. 내가 썼다. 3개월 전에. 그때는 몰랐다. 100명 넘으면 로딩 10초인 줄. 길드 채팅은 서버 부하 때문이다. 최적화 필요. 보상 오류는 동시 요청 처리 문제. 서버 개발자한테 메시지. "형 이거 배포 전에 다 되나요?" "동접이랑 채팅은 어렵고요. 나머지는 해볼게요." "동접이랑 채팅 안 되면 어떻게 되는데요?" "오픈 첫날 서버 터질 수도." 망했다. PD한테 보고한다. "서버 이슈 2건 배포 전 해결 어렵대요." "그럼?" "오픈 동접 제한하거나 사전예약 줄여야 할 듯." "마케팅팀이랑 얘기해봐." 마케팅팀장한테 메시지. "사전예약 8만 명인데 동접 제한 필요할 수도 있어요." "뭔 소리?" 상황 설명한다. "그럼 광고비 날린 건데?" "서버 터지는 것보단 낫지 않나요." "일단 회의 잡자." 회의. 또 회의다. 열한 번째부터 열다섯 번째: 자잘한 것들 "스킬 이펙트 소리 안 남" "상점 아이템 정렬 이상함" "업적 달성 시 알림 2번 뜸" "캐릭터 대사 자막 안 맞음" "로비 배경음악 반복 시 끊김" 이건 심각도 높음은 아닌데. QA가 높음으로 올렸다. 하나씩 확인한다. 스킬 소리는 사운드 파일 누락. 사운드팀 전달. 상점 정렬은 최신순이 아니라 ID순으로 돼있다. 코드 수정 필요. 업적 알림은 로컬/서버 이중 체크 때문. 서버만 남기면 됨. 대사 자막은 번역팀 실수. 텍스트 교체. 배경음악은 루프 지점 설정 오류. 사운드팀. 각 팀한테 전달한다. 답장 온다. "확인", "수정", "내일 오전". 열여섯 번째: 결제 테스트 실패 "인앱 결제 샌드박스 환경 오류" 이건 진짜 심각하다. 결제가 안 되면 게임 못 낸다. 클라이언트 문제인지 스토어 문제인지. 프로그래머랑 같이 확인한다. 샌드박스 계정으로 테스트. 결제 팝업까지는 뜬다. 근데 결제 완료 후 아이템이 안 들어온다. 로그 본다. 영수증 검증 실패. 서버에서 애플/구글 영수증을 확인 못 하고 있다. "형 이거 뭐가 문젠데요?" "서버 인증서 갱신 안 됐나봐요." "언제 되는데요?" "내일 확인해볼게요." 내일. 또 내일. 열일곱 번째: 치명적 크래시 "특정 조건에서 앱 강제 종료" 재현 조건 본다.던전 입장 전투 중 홈버튼 5분 뒤 복귀 스킬 사용 시 크래시재현해본다. 던전 들어간다. 전투 시작. 홈버튼 누른다. 타이머 맞춘다. 5분. 유튜브 본다. 밸런스 패치 욕하는 영상. 재밌다. 5분 지났다. 게임 복귀. 스킬 누른다. 앱이 꺼진다. 재현됐다. 로그 본다. 메모리 오버플로우. 백그라운드에서 리소스 해제 안 됐다. 5분간 쌓이다가 복귀 시 터진다. 프로그래머한테 보낸다. "형 이거 재현됐어요. 메모리 이슈 같은데." "아 그거. 알고는 있었는데." "배포 전에 고쳐야죠?" "해볼게요. 근데 시간 빡빡해요." "이거 심각도 높음인데." "알아요. 근데 구조 수정이라 리스크 있어요." "안 고치면요?" "백그라운드 5분 이상 있다가 복귀하면 터져요." "그럼 유저들 욕하는데?" "고치다가 다른 데 터지면 더 욕먹는데?" 둘 다 맞는 말이다. PD한테 보고. "크래시 이슈 수정이 리스크 있대요." "어느 정도?" "백그라운드 5분 이상 시 앱 종료. 근데 고치면 전투 시스템 전체 불안." "확률은?" "백그라운드 5분 이상 유저가 얼마나 될까요?" "모르지. 근데 앱 터지는 건 치명적이잖아." "그래도 고치다 더 큰 버그 생기면요?" "..." "일단 알려진 이슈로 공지하고 다음 패치에서 수정은요?" "그것도 욕먹는다." "안 고치고 터지는 것도 욕먹는데요." "둘 다 욕먹으면 덜 욕먹는 쪽 가자." "어느 쪽이요?" "알려진 이슈로 간다. 고치다 더 터지면 안 되니까." 결정 났다. 이슈 시트에 적는다. "다음 패치 예정. 오픈 시 알려진 이슈 공지." 저녁 8시 20분 17건 정리 끝났다. 수정 확정: 11건 다음 패치: 4건 현 상태 유지: 2건 내일 오전까지 11건 수정본 올라온다. 내일 오후에 다시 QA 돌린다. 또 이슈 나오면 또 판단한다. 배포는 모레. 일요일 오후 2시. 주말 출근이다. 슬랙에 정리 내용 공유한다. PD: "수고" QA팀장: "내일 오전 빌드 기다릴게요" 프로그래머: "ㅠㅠ" 컴퓨터 끈다. 가방 챙긴다. 내일 또 온다. 배포 전은 언제나 이렇다.이슈 리스트는 우선순위가 아니라 정치다. 누구 의견이 더 센지.

격주 목요일 데이터 분석: 숫자들이 말해주는 것

격주 목요일 데이터 분석: 숫자들이 말해주는 것

목요일 10시, 엑셀을 켠다 격주 목요일. 데이터 분석의 날이다. PD가 올린 대시보드 링크를 연다. 지난 2주 동안의 데이터가 정리되어 있다. DAU, RPU, 리텐션, 이탈율, ARPPU, 과금 전환율. 익숙한 숫자들. 커피 한 잔 뽑아서 마신다. 이 시간이 좋기도 하고 무섭기도 하다. 숫자가 좋으면 기분 좋고, 나쁘면 우울하다. 단순하다.데이터를 엑셀로 다운받는다. 우리 회사 대시보드는 보기만 하는 용도다. 진짜 분석은 엑셀에서 한다. 피벗 테이블, VLOOKUP, IF 중첩. 내 무기들. 지난 2주 데이터를 정리한다. 일자별로, 유저 코호트별로, 과금 구간별로. 숫자가 의미를 갖기 시작한다. DAU, 첫 번째 지표 DAU부터 본다. 일평균 활성 유저. 게임이 살아있는지 죽어가는지 제일 먼저 알려주는 숫자. 지난주 평균 DAU 12만 5천. 그 전주는 12만 8천이었다. 2.3% 감소. 심장이 조금 쫄깃해진다. 평일 DAU 그래프를 그려본다. 월요일이 제일 낮고, 목요일에 올라가고, 금요일에 정점. 주말은 조금 떨어진다. 패턴은 정상이다. 문제는 추세선이다. 지난달부터 완만하게 내려가고 있다. 월 5% 정도. 이 속도면 3개월 후에는... 계산하기 싫다. PD가 물어볼 게 뻔하다. "왜 떨어지는 거 같아요?" 나도 알고 싶다. 유저 이탈 원인을 찾아야 한다. 데이터를 더 파본다. 레벨 구간별 DAU 변화. 1~10레벨 유저는 늘었다. 신규 유입은 괜찮다는 뜻. 문제는 30~50레벨 구간. 지난달 대비 15% 감소했다. 중반 콘텐츠에 문제가 있다는 뜻이다. 메모한다. "중반 콘텐츠 점검 필요. 30~50 이탈 심각."리텐션, 진짜 중요한 숫자 다음은 리텐션. 신규 유저가 며칠이나 게임을 하는가. D1, D3, D7, D30. 각각 1일차, 3일차, 7일차, 30일차 잔존율. 우리 게임 평균:D1: 52% D3: 28% D7: 18% D30: 8%장르 평균과 비교한다. 모바일 RPG 기준으로 D1은 조금 낮고, D7은 괜찮은 편. 문제는 D3이다. 3일차에 절반이 떨어져 나간다. 코호트 분석을 돌린다. 이번 주 신규 유저 5천 명의 행동 패턴. 1일차에 평균 플레이 시간 45분. 2일차 28분. 3일차 12분. 플레이 타임이 급격히 떨어진다. 왜? 로그를 뒤진다. 2일차 유저들이 어디서 막히는지 확인한다. 던전 3-5에서 이탈이 많다. 난이도 스파이크가 있는 구간. 역시 밸런스 문제다. 기획서를 다시 본다. 3-5 던전 권장 전투력 1만 2천. 평균 유저 전투력은 1만. 2천 차이가 크다. 초반인데. 수치 조정이 필요하다. 메모한다. "3-5 던전 난이도 하향. 권장 전투력 1만으로 조정. D3 리텐션 개선 목표." RPU, 돈 버는 숫자 RPU를 본다. Revenue Per User. 유저 한 명당 매출. 지난 2주 평균 RPU: 4,200원. 목표는 5,000원이었다. 16% 부족하다. 다음 회의에서 나올 말이 뻔하다. "매출이 목표보다 낮은데, 뭘 해야 할까요?" 나한테 물어보지 말아줬으면 좋겠다. 과금 전환율을 본다. 전체 유저 중 돈을 쓴 비율. 3.2%. 100명 중 3명만 돈 쓴다. 업계 평균이 2~4%니까 나쁘진 않다. ARPPU를 계산한다. Average Revenue Per Paying User. 과금 유저 한 명당 평균 매출. RPU 4,200원 ÷ 전환율 3.2% = ARPPU 13만 1천원. 과금 유저는 평균 13만원을 쓴다. 많은 건가, 적은 건가.과금 구간별로 쪼갠다.1만원 이하: 1.8% 1~5만원: 0.9% 5~10만원: 0.3% 10만원 이상: 0.2%고래가 적다. 10만원 이상 쓰는 유저가 0.2%. 1천 명 중 2명. 근데 이 2명이 전체 매출의 40%를 만든다. 고래 이탈 방지가 중요하다. 고래 유저 로그를 확인한다. 최근 2주간 접속 패턴, 플레이 시간, 구매 내역. 이상 징후가 없는지 체크. 한 명이 눈에 띈다. 지난달까지 월 50만원씩 쓰던 유저. 이번 달은 5만원. 접속 시간도 하루 3시간에서 30분으로 줄었다. 이탈 직전이다. CS팀에 공유한다. "이 유저 케어 부탁드립니다. 고래 유저입니다." 매출은 결국 사람이다. 이탈율, 무서운 숫자 이탈율을 본다. 신규 유저가 언제 그만두는가. 레벨 구간별 이탈율:1~10레벨: 35% 11~20레벨: 22% 21~30레벨: 28% 31~40레벨: 18%21~30 구간 이탈율이 높다. 로그를 분석한다. 25레벨에서 이탈이 집중된다. 뭐가 있지? 기획서를 확인한다. 25레벨에 길드 시스템이 열린다. 길드 가입을 강제하진 않지만, 이후 콘텐츠가 길드 기반이다. 솔로 유저가 벽을 느낀다. 커뮤니티를 찾아본다. 유저 피드백. "25렙부터 길드 없으면 진행 불가능" "혼자 하고 싶은데 강제로 길드 가입하래요" "길드 안 하면 보상 못 받음" 역시. 소셜 콘텐츠 진입 장벽이 문제다. 메모한다. "25레벨 솔로 유저 경험 개선. 길드 비가입자도 진행 가능한 대체 콘텐츠 필요." 이탈 사유는 복합적이다. 난이도, 콘텐츠 부족, 강제성, 보상 밸런스. 하나씩 해결해야 한다. 데이터는 문제를 알려준다. 해결은 기획자 몫이다. PvP 밸런스, 숫자의 전쟁 PvP 데이터를 본다. 승률 분포, 덱 사용률, 캐릭터 픽률. 제일 골치 아픈 부분이다. S등급 캐릭터 '레나' 픽률: 78%. 거의 모든 유저가 쓴다. 승률은 62%. OP다. 너프가 필요하다. 근데 레나는 한정 과금 캐릭터다. 돈 주고 뽑은 유저들이 많다. 너프하면 난리 난다. 지난번에 경험했다. '발키리' 너프했을 때 게시판이 불탔다. "환불하세요", "사기", "믿고 뽑았는데". 매출도 일주일간 30% 떨어졌다. 그래도 해야 한다. 밸런스가 무너지면 PvP를 안 한다. PvP 안 하면 게임 수명이 짧아진다. 너프 수치를 계산한다. 레나 스킬 '섬광베기' 공격력 배율 250% → 200%. 승률 시뮬레이션 돌린다. 엑셀로 만든 간이 전투 시뮬레이터. 예상 승률: 54%. 적정 수준이다. 기획서 작성한다. "레나 밸런스 조정안. 섬광베기 공격력 20% 하향. 사유: PvP 픽률 및 승률 과다." 내일 회의에서 설득해야 한다. PD는 매출 걱정할 거고, 마케팅팀은 반발할 거고, 개발팀은 "또요?"라고 할 거다. 근데 데이터는 거짓말 안 한다. 신규 콘텐츠 반응, 숫자로 평가받는다 2주 전에 업데이트한 '무한의 탑' 콘텐츠. 기획에 3주 걸렸다. 유저 반응을 본다. 참여율: 23%. 목표는 40%였다. 절반도 안 된다. 클리어율을 본다. 10층까지 클리어한 유저: 8%. 50층까지: 0.3%. 너무 어렵다는 뜻이다. 평균 도전 횟수: 2.1회. 두 번 하다가 포기한다. 보상 수령률: 15%. 콘텐츠는 했는데 보상을 안 받는다. UI 문제일 수도 있다. 커뮤니티 반응을 확인한다. "무한의 탑 너무 어려움" "보상이 별로라 안 함" "10층부터 막힘" 예상한 반응이다. QA 때도 느꼈다. 어렵다고. 근데 PD가 "어려워야 도전 의욕 생긴다"고 했다. 결과는 이렇다. 메모한다. "무한의 탑 난이도 전면 하향. 1~20층 20% 하향, 보상 상향 30%. 참여율 40% 목표." 3주 기획한 콘텐츠가 2주 만에 수정된다. 흔한 일이다. 숫자 뒤의 사람들 데이터를 보다 보면 잊는다. 숫자 뒤에 사람이 있다는 걸. DAU 12만 5천은 12만 5천 명의 유저다. 퇴근 후 지하철에서 게임하는 직장인. 학교 끝나고 PC방에서 하는 학생. 밤새 랭킹 올리는 고래 유저. 다 사람이다. 로그를 보면 보인다. 매일 새벽 2시에 접속하는 유저. 야근하는 사람인가. 밤샘하는 학생인가. 하루에 30분만 하는 유저. 시간 없는 직장인이겠지. 주말마다 10시간씩 하는 유저. 게임을 정말 좋아하는구나. 각자의 이유로 우리 게임을 한다. 재밌어서, 시간 때우려고, 친구가 하니까, 스트레스 풀려고. 이유는 다양하다. 근데 우리는 그걸 숫자로 본다. 리텐션, 이탈율, RPU. 어쩔 수 없다. 12만 명을 일일이 이해할 순 없다. 숫자로 패턴을 보고, 문제를 찾고, 개선한다. 그게 내 일이다. 오후 3시, 보고 자료 작성 데이터 분석 끝. 이제 보고 자료를 만든다. PPT를 연다. 슬라이드 1: 요약DAU 2.3% 감소, 중반 콘텐츠 이탈 심각 RPU 목표 대비 16% 부족, 고래 유저 케어 필요 PvP 밸런스 조정 필요, 레나 너프 제안슬라이드 2: DAU 분석그래프, 수치, 원인 분석 개선 방안: 30~50 레벨 콘텐츠 강화슬라이드 3: 리텐션 분석D3 리텐션 개선 필요 3-5 던전 난이도 하향 제안10페이지 분량. 그래프, 표, 분석, 제안. 내일 회의 자료다. PD는 이 자료 보고 의사결정한다. 뭘 고칠지, 뭘 만들지, 어디에 리소스를 쓸지. 데이터 분석이 중요한 이유다. 감으로 하면 틀린다. 숫자로 하면 정확하다. 완벽하진 않아도 방향은 맞다. 숫자가 주는 위안 데이터 분석은 스트레스다. 나쁜 숫자 보면 우울하고, 좋은 숫자 보면 불안하다. "다음엔 떨어지면 어쩌지." 근데 위안도 된다. 숫자는 거짓말 안 한다. 감정, 정치, 눈치 없다. 있는 그대로 보여준다. "유저들이 불만이 많아요" → 데이터로 확인한다. 이탈율 증가했나? 플레이 타임 줄었나? "이 캐릭터 약한 거 같아요" → 데이터로 확인한다. 승률 낮나? 픽률 낮나? "이번 이벤트 반응 좋았어요" → 데이터로 확인한다. 참여율 높나? 매출 올랐나? 추측이 아니라 사실. 기획자가 숫자를 믿는 이유다. 물론 숫자가 전부는 아니다. 유저 감정, 브랜드 이미지, 장기 전략. 숫자로 안 보이는 것도 많다. 근데 적어도 숫자는 출발점이다. 여기서 시작한다. 퇴근길, 경쟁사 데이터 퇴근한다. 지하철에서 폰을 꺼낸다. 경쟁사 게임 순위를 확인한다. 구글 플레이 매출 순위. 우리 게임: 47위. 지난주는 42위였다. 5계단 떨어졌다. 경쟁사 신작이 20위 안에 3개. 시장이 좁아진다. 살아남으려면 계속 개선해야 한다. DAU 올리고, RPU 올리고, 리텐션 올리고. 끝없는 싸움이다. 숫자와의 전쟁. 근데 이게 내 일이다. 격주 목요일마다 데이터를 보고, 문제를 찾고, 해결책을 제안한다. 때로는 좌절하고, 때로는 뿌듯하고. 숫자들이 말해준다. 게임이 잘되고 있는지, 망하고 있는지. 내가 잘하고 있는지, 못하고 있는지. 냉정하지만 정직하다. 그래서 계속한다.내일 회의에서 레나 너프 설득해야 한다. 데이터 들고.