PRX 4편, 데이터 전략을 다시 읽다

Photoroom 팀이 쓰는 PRX 연재의 네 번째 글인 PRX Part 4: Our Data Strategy는 사진 편집 모델을 뒷받침하는 데이터 운영 방식을 다룹니다. 이 글은 모델 구조가 아니라 데이터를 어떻게 모으고, 고르고, 지키고, 다시 고치는지에 대한 설명으로 읽히는데요. 원문 링크는 제목 아래에 걸려 있습니다.

이 글의 주장은 데이터 전략을 수집량이 아니라 수집과 주석, 버전 관리와 거버넌스, 운영 피드백을 묶은 순환 구조로 보아야 한다는 점입니다. 이번 글에서는 그 연결이 왜 필요하고 현장에서 어떻게 작동하는지를 따라가겠습니다.

왜 모델 얘기 뒤에 데이터 얘기가 나올까

안녕하세요, 패트릭입니다.

사진 편집 제품을 쓰다 보면 이런 경험을 하게 됩니다. 어떤 사진은 배경이 깔끔하게 지워지는데, 어떤 사진에서는 머리카락 끝이 뭉개지거나 손가락 모양이 어색해지죠. 모델이 커졌다고 해서 이런 실패가 한 번에 사라지지는 않는데요. 비슷한 용량의 모델인데도 어떤 팀의 결과물은 안정적이고, 어떤 팀의 결과물은 들쭉날쭉합니다. 그렇다면 차이는 어디에서 생길까요?

저는 이 질문을 좋아합니다. 답이 모델 구조가 아니라 그 모델이 무엇을 보고 배웠는지로 이어지기 때문입니다. Photoroom 연재가 세 편 동안 모델과 기반 기술을 다룬 뒤 네 번째 편에서 데이터 전략을 꺼낸 순서도 그래서 자연스럽게 느껴졌습니다. 사진 편집처럼 입력 분포가 넓고 정답의 기준이 눈으로 확인되는 영역에서는 데이터 구성이 곧 제품 품질이 되니까요.

여기서 제가 가장 흥미롭게 본 부분은 데이터를 수집 목록이 아니라 운영 주기로 바라본 태도입니다. 모으고 끝내는 것이 아니라, 평가하고 기록하고 되돌리고 다시 고르는 일의 연속인데, 이런 반복이 바로 데이터 운영의 실체입니다. 생각해보면 식당도 비슷하게 움직입니다. 좋은 식당은 장을 한 번 잘 봐서 끝나는 것이 아니라, 손님이 남긴 접시를 보고 다음날 장볼 목록을 고치니까요.

데이터 전략은 수집 목록이 아니라 순환 구조다

데이터 전략이라는 말을 들으면 대개 저장소 크기가 먼저 떠오릅니다. 몇 백만 장을 모았는지, 라벨이 몇 개 붙었는지 같은 숫자가 먼저 떠오르지만, 저는 이 숫자를 전략의 시작으로만 봅니다. 그런데 이 글에서 말하는 전략은 그보다 훨씬 넓습니다. 어디에서 가져오고, 누가 어떤 기준으로 고르고, 어떻게 버전을 매기고, 누가 접근할 수 있으며, 운영에서 돌아오는 신호를 어떻게 다시 반영할지가 전부 들어갑니다.

이렇게 넓게 잡는 데에는 이유가 있습니다. 수집만 보면 그 순간의 품질은 좋아 보이지만, 시간이 지나면 분포가 어긋나기 때문입니다. 새로운 휴대폰 카메라가 나오고, 유행하는 사진 구도가 바뀌고, 사용자가 올리는 이미지의 해상도와 조명이 달라지면, 예전에 잘 되던 모델도 조금씩 빗나가기 때문에 수집만으로 버티기 어렵습니다. 그래서 수집과 주석, 버전 관리와 거버넌스, 운영 피드백을 따로 떼어놓고 볼 수 없습니다. 하나로 묶어야 시간이 흘러도 버티는 구조가 됩니다.

저는 이 대목을 읽으면서 도서관 장서를 떠올렸습니다. 좋은 도서관은 책을 많이 사는 도서관이 아니라, 어떤 책이 낡았고 어떤 분야가 비었고 대출 기록이 무엇을 말하는지를 보고 장서를 고르는 그런 도서관입니다. 데이터 운영도 같은 이치입니다. 무엇을 샀는지가 아니라 무엇을 남기고 무엇을 버리고 무엇을 다시 채울지를 정하는 일이 전략이 됩니다. 그렇다면 다음 질문은 자연스럽게 이어집니다. 무엇을 재야 그런 결정을 내릴 수 있을까요?

무엇을 재야 돈 쓸 곳이 보일까

데이터에 돈을 쓰는 일은 생각보다 어렵습니다. 주석 예산은 한정되어 있는데, 손댈 곳은 곳곳에 흩어져 있기 때문입니다. 머리카락 경계가 문제인지, 유리 비침이 문제인지, 야간 인물 사진이 문제인지를 알아야 사람을 어디에 붙일지 정할 수 있기 때문에, 측정이 먼저 와야 합니다. 그래서 이 글은 평가용 데이터셋과 골든셋을 품질 추적의 눈금으로 삼습니다.

골든셋이라는 말을 들으면 거창하게 느껴질 수 있는데, 실제로는 조심스럽게 고른 대표 사진 묶음에 가깝습니다. 팀이 합의한 정답 방향이 담겨 있고, 모델이 바뀌어도 같은 잣대로 다시 잴 수 있게 고정해 둔 것인데, 이런 고정이 반복 측정을 가능하게 합니다. 새 모델이 나오면 이 묶음에 먼저 돌려보고, 어디가 좋아졌고 어디가 나빠졌는지를 확인합니다. 좋아진 평균 점수 뒤에 숨은 나빠진 일부를 찾는 용도라고 할 수 있는데요. 평균은 그대로인데 특정 조명에서만 품질이 무너지는 일은 현장에서 자주 일어나니까요.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 평가 묶음이 있으면 데이터 투자의 우선순위가 말로 정해지지 않기 때문입니다. 누군가의 취향이나 그날의 항의 메일이 아니라, 반복 측정에서 드러난 약한 구간에 예산을 붙일 수 있게 되는데, 저는 이 지점이 평가 묶음의 진짜 값이라고 봅니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 평가 묶음 자체는 누가 지키고, 어떻게 바꾸지 않을까요? 평가 기준이 흔들리면 모든 측정이 흔들리니까요. 그래서 버전과 출처 이야기가 이어집니다.

출처를 모르면 재현도 감사도 흔들린다

사진 한 장이 모델을 거쳐 나올 때까지 그 사진이 어디에서 왔는지 모른다면, 문제가 생겼을 때 손댈 곳이 없습니다. 어떤 수집 경로에서 왔고, 어떤 주석 지침을 거쳤고, 어떤 버전의 묶음에 들어 있었는지를 알아야 같은 실험을 다시 돌릴 수 있기 때문입니다. 이 글은 그래서 데이터의 출처와 계보와 버전을 재현과 감사의 토대로 둡니다.

재현이라는 말은 연구실에서만 쓰는 말이 아닙니다. 운영에서도 똑같이 필요합니다. 어제 잘 되던 배경 제거가 오늘 갑자기 어색해졌다면, 모델만 본 것이 아니라 그 사이에 데이터 묶음이 바뀌었는지도 봐야 하죠. 버전이 적혀 있으면 그 비교가 쉬워집니다. 지난주 묶음과 이번 주 묶음을 나란히 놓고, 무엇이 추가되고 무엇이 빠졌는지를 확인할 수 있으니까요.

감사는 조금 더 무거운 이야기인데요. 사진에는 사람이 나오고, 상표가 나오고, 사적인 공간이 나옵니다. 그래서 어디에서 동의를 받고 어떻게 보관했는지를 나중에 설명할 수 있어야 합니다. 출처 기록이 있으면 그 설명이 가능해집니다. 저는 여기서 멈칫했습니다. 많은 팀이 출처 기록을 문서 작업으로 여기는데, 사실은 장애 대응 도구이기 때문입니다. 밤에 품질 사고가 났을 때 원인을 빨리 좁히려면 결국 계보를 보게 되는데, 저는 이 순간을 떠올리면 계보 비용이 아깝지 않다고 봅니다. 그렇다면 계보를 남기는 비용은 아깝지 않은 셈입니다. 문제는 그다음입니다. 계보를 남긴다고 데이터 자체가 좋아지는 것은 아니니까요. 좋은 데이터를 어떻게 고를지가 남습니다.

사람 손과 열린 데이터와 합성 사이에서 고르기

데이터를 구하는 길은 크게 세 갈래인데, 뒤에서는 이 셋을 놓고 저울질하게 됩니다. 사람이 직접 고르고 다듬는 길, 공개된 묶음을 가져다 쓰는 길, 그리고 합성으로 만들어내는 길이라는 이런 구분이 출발점입니다. 이 글은 세 가지 가운데 하나만 고르지 않고 비용과 품질의 저울에 따라 섞어 쓰자는 쪽에 섭니다. 저는 이 판단이 현실적이라고 봅니다. 사진 편집처럼 경계가 섬세한 작업에서는 사람 눈이 필요하고, 일반적인 장면에서는 공개 묶음이 도움이 되며, 드문 조건은 합성으로 메우는 편이 빠르기 때문입니다.

사람 손으로 다듬는 주석은 정확하지만 느리고 비싸서, 머리카락 올이나 반투명 비닐, 유리 뒤 인물처럼 경계가 까다로운 곳에서만 써야 합니다. 그런데 모든 사진을 그렇게 볼 수는 없죠. 그래서 넓은 장면을 덮을 때는 공개 묶음이 도움이 되는데, 문제는 우리 제품의 분포와 꼭 맞지 않아서 라이선스와 품질 편차를 따져 걸러 써야 한다는 점입니다. 반면 원하는 조건을 마음대로 만들 수 있는 합성은 부족한 꼬리 조건을 메우기에는 빠르지만, 자칫하면 실제 카메라의 질감과 조명을 놓치기 쉽습니다. 저는 여기서 매번 같은 함정을 봅니다. 합성에서만 잘 되고 실제 사진에서 어색해지는 간극이 생기면, 평균 점수는 그대로인데 눈으로 보면 바로 티가 나기 때문입니다.

그래서 섞는 기술이 필요해집니다. 어려운 구간에는 사람 손을 쓰고, 넓은 배경 지식에는 공개 묶음을 쓰고, 부족한 꼬리 조건에는 합성을 보태는 식인데, 이런 조합이 현장에서 가장 흔한 답입니다. 이때 평가는 다시 저울이 됩니다. 합성을 늘렸을 때 골든셋의 약한 구간이 실제로 좋아졌는지, 공개 묶음을 추가했을 때 특정 장면에서 회귀가 생기지 않았는지를 재보는 것입니다. (참고로 사진 편집 현장에서는 합성 배경의 조명 방향이 실제 인물 조명과 어긋나면 눈이 바로 어색함을 알아차리는데요. 이런 어긋남은 평균 점수보다 눈으로 보는 확인에서 먼저 드러나곤 합니다.)

그렇다면 이 저울질은 한 번으로 끝날까요? 저는 그렇지 않다고 봅니다. 운영에서 새로운 실패가 들어올 때마다 저울은 다시 기울기 때문인데, 어제까지 충분해 보이던 합성 비중이 새로운 카메라 기종 앞에서 갑자기 부족해지는 일이 현장에서는 자주 일어나기 때문입니다. 그래서 다음 고리는 자연스럽게 운영 피드백으로 이어집니다.

실패 기록이 다음 수집 목록을 쓴다

운영 중인 제품은 매일 새로운 시험 문제를 받습니다. 사용자가 올리는 사진이 곧 시험지인데, 저는 이 목록을 볼 때마다 분포의 넓이를 실감합니다. 조명이 어두운 식당, 비에 젖은 유리창 너머 간판, 털이 날리는 반려동물, 흔들린 손안의 아기 사진 같은 것들이 그 시험지의 실체입니다. 이 글은 이런 운영 기록과 실패 분석을 선별 과정으로 되돌리는 고리를 강조합니다. 적용 범위가 비는 곳과 분포가 어긋나는 곳을 찾아 다음 수집과 주석을 정하는 방식입니다.

이 고리가 없으면 팀은 감으로 수집합니다. 많이 들어오는 항의부터 손대거나, 만들기 쉬운 합성부터 늘리게 되죠. 반면 기록이 쌓이면 질문이 달라집니다. 어떤 실패가 자주 반복되는지, 어떤 조건에서만 깨지는지, 새로 추가된 카메라 기종에서만 어긋나는지를 물을 수 있습니다. 저는 이 대목에서 오답 노트를 떠올렸습니다. 시험을 잘 보는 학생은 틀린 문제를 모아두었다가 같은 유형을 다시 푸는 것과 같은데, 저는 이 비유가 정확하다고 봅니다. 데이터 운영도 같습니다. 실패를 모으고 분류하고, 그 유형을 겨냥해 데이터를 보강하는 것입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 운영 기록을 많이 모은다고 자동으로 좋아지지 않기 때문입니다. 기록에는 편향이 있습니다. 불만을 크게 말하는 사용자의 사진이 과대표되고, 조용히 떠난 사용자의 실패는 남지 않죠. 그래서 기록을 그대로 수집 목록으로 바꾸면 안 되고, 한 번 걸러야 합니다. 어떤 실패가 제품에서 자주 일어나는지, 어떤 실패가 드물지만 치명적인지를 나누는 일이 필요합니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 기록을 누가 볼 수 있고 어디까지 보관할까요? 사진 기록은 민감하기 때문입니다. 그래서 프라이버시 이야기가 뒤따릅니다.

프라이버시는 나중에 붙이는 도장이 아니다

사진 데이터는 처음부터 조심해야 합니다. 얼굴과 아이, 집 내부와 문서, 위치를 알 수 있는 간판이 그대로 들어 있기 때문입니다. 이 글은 동의와 보관 기간과 접근 통제를 기반 시설의 일급 요구로 둡니다. 나중에 서류로 덧붙이는 일이 아니라, 파이프라인 안에 박아 넣는 것이죠.

말로는 쉽지만 손으로 하려면 손이 많이 갑니다. 수집할 때 동의를 확인하고, 보관할 때 목적과 기간을 적고, 쓸 때 권한을 나누고, 지워야 할 때 실제로 지워졌는지 확인해야 합니다. 특히 삭제는 말처럼 쉽지 않습니다. 원본만 지우면 되는지, 썸네일과 중간 산출물도 함께 지워야 하는지, 이미 묶음 버전에 들어간 것은 어떻게 처리할지를 정해야 하죠. 버전 관리와 계보가 여기서 다시 등장합니다. 어디에 무엇이 들어 있었는지 알아야 지우는 일도 끝까지 할 수 있으니까요.

저는 이 부분을 읽으면서 안심과 걱정이 함께 들었습니다. 안심은 방향이 분명하다는 데 있고, 걱정은 실행의 무게에 있습니다. 작은 팀에서는 이런 통제를 문서로만 남기고 실제 파이프라인에서는 놓치기 쉽기 때문입니다. 그런데 사진 제품에서는 한 번의 실수가 그대로 신뢰로 이어집니다. 그래서 접근 통제를 좁게 잡고, 기록을 남기고, 보관 기간을 짧게 잡는 쪽이 결국 시간을 아껴줍니다. 문제가 생긴 뒤에 수습하는 것보다 미리 막는 편이 싸니까요. 그렇다면 이렇게 모으고 지키는 데이터가 좋은지 어떻게 알 수 있을까요? 눈금이 필요합니다.

적용 범위가 넓고 고른 데이터는 어떻게 만들까

이 글은 데이터 품질을 여러 눈금으로 봅니다. 적용 범위와 다양성, 주석 일치도, 신선도, 그리고 모델 평가에 미치는 영향 같은 것들이죠. 저는 이 목록이 마음에 들었습니다. 한 가지 점수로 줄 세우지 않고, 여러 방향에서 함께 보기 때문입니다.

적용 범위는 우리가 다루겠다고 한 장면을 얼마나 덮고 있는지를 말합니다. 인물과 반려동물과 상품 사진, 실내와 야외와 야간, 정면과 측면 같은 것들이죠. 다양성은 그 안에서 한쪽으로 치우치지 않았는지를 봅니다. 밝은 낮 사진만 많고 어두운 실내 사진이 없으면 다양성이 부족한 것입니다. 주석 일치도는 사람이 같은 사진을 보고 같은 답을 내는지를 재는데요. 일치가 낮으면 지침이 모호하거나 작업이 어렵다는 신호입니다. 신선도는 시간이 지나도 여전히 쓸모가 있는지를 묻습니다. 오래된 기종으로 찍은 사진만 있으면 새 기종에서 어긋날 수 있죠. 그리고 마지막으로 모델 평가에 미치는 영향이 있습니다. 데이터를 고쳤을 때 골든셋 점수와 현장 실패가 실제로 움직였는지로 확인하는 것입니다.

이 눈금들을 함께 보면 투자 판단이 쉬워집니다. 예를 들어 주석 일치도가 낮은 구간에 사람을 더 붙이기 전에 지침부터 고치는 편이 낫고, 적용 범위가 비어 있는 구간에는 합성보다 실제 수집을 먼저 붙이는 편이 나을 수 있습니다. 반대로 신선도가 문제인데 과거 사진만 계속 주석하면 돈을 써도 현장 점수는 그대로일 수 있죠. 숫자는 이렇게 읽어야 합니다. 점수 자체가 아니라, 그 점수가 가리키는 다음 행동으로 말이죠. 그런데 여기서 한 가지 함정이 있습니다. 눈금이 많아지면 눈금 관리가 일이 되기 때문입니다. 그래서 마지막으로 남은 질문을 살펴보겠습니다.

숫자 뒤에 남은 질문을 읽는 법

눈금이 많아지면 팀은 숫자를 모으는 데 바빠집니다. 대시보드는 화려해지는데, 정작 무엇을 고칠지는 흐려지죠. 제가 앞으로 보고 싶은 것은 이 글의 눈금들이 현장에서 어떻게 다듬어지는지입니다. 어떤 지표를 매주 보고, 어떤 지표는 분기에 한 번 보는지, 어떤 지표가 흔들리면 수집을 멈추고 지침을 고치는지 같은 운영 규칙 말이죠.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 골든셋이 오래되면 골든셋 자체가 현실과 어긋나지 않을까요? 고정해 둔 잣대는 비교에는 좋지만, 새로운 카메라와 새로운 유행을 담지 못하면 현실을 놓칩니다. 그래서 골든셋도 주기적으로 손봐야 합니다. 무엇을 고정하고 무엇을 바꾸는지를 적어두는 일이 필요합니다. 이 균형을 어떻게 잡는지가 팀의 실력으로 드러나죠.

또 하나는 합성의 비중입니다. 합성이 싸고 빠르다고 해서 비중을 계속 늘리면 실제 질감을 놓칠 수 있습니다. 반대로 합성을 두려워해 사람 손만 고집하면 꼬리 조건을 메우지 못하죠. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 합성을 얼마나 쓰는지가 아니라, 합성을 썼을 때 현장 실패가 어떻게 움직였는지를 보는 구조 말이죠. 저희가 새로운 AI 구조를 볼 때도 점수만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 운영에서 어떤 비용을 만드는지를 함께 봅니다. 데이터도 같습니다.

여기까지 오면 처음 질문으로 돌아오게 됩니다. 좋은 데이터란 결국 무엇일까요? 많이 모은 데이터일까요, 깨끗하게 닦은 데이터일까요? 저는 이 글을 읽고 답을 조금 바꿨습니다. 좋은 데이터란 고치고 다시 잴 수 있는 데이터라고 말이죠. 계보가 있고, 눈금이 있고, 되돌아오는 고리가 있는 데이터 말입니다.

그래서 저는 이 연재의 다음 편이 궁금합니다

이 글을 덮으면서 가장 먼저 든 생각은 다음 편에 대한 기대였습니다. 데이터 전략의 뼈대가 섰으니, 이제는 각 눈금이 현장에서 어떻게 움직였는지를 듣고 싶기 때문입니다. 어떤 실패 유형을 골든셋에 올렸고, 어떤 합성 조건을 걷어냈고, 어떤 보관 규칙이 실제로 사고를 막았는지 같은 이야기 말이죠.

사진 편집은 눈으로 바로 확인되는 영역이라 거짓말이 통하지 않습니다. 머리카락 끝 한 올, 유리 비침 하나가 품질을 말하죠. 그래서 데이터 운영의 차이가 화면에 그대로 드러납니다. 이 연재가 모델 이야기에서 데이터 이야기로 넘어온 흐름도 그래서 좋았습니다. 모델이 무엇을 할 수 있는지를 말한 뒤, 그 모델이 무엇을 보고 배워야 하는지를 말했으니까요.

그렇다면 사람의 역할은 무엇일까요. 데이터가 많아지고 합성이 빨라질수록 사람의 눈이 덜 필요해질까요? 저는 반대로 봅니다. 무엇을 모으고 무엇을 버릴지, 어디에 동의를 받고 어디까지 보관할지, 어떤 실패를 먼저 고칠지를 정하는 일은 여전히 사람의 판단이기 때문입니다. 기계가 사진을 만들 수 있어도, 어떤 사진을 옳다고 할지는 사람이 정하죠. 다음 편에서는 그 판단의 기록을 더 듣고 싶습니다.