매칭 모델에서 리크루팅 에이전트로: AI 채용 시스템과 평가, 거버넌스의 검토

arXiv에 공개된 From Matching Models to Recruiting Agents: A Systematized Narrative Review of AI Recruitment Systems, Evaluation, and Governance(arXiv:2609.04286)를 읽었습니다. 이 검토가 내세우는 주장은 채용 자동화의 대상이 프로필 쌍의 점수와 순위 목록에서 증거를 찾고 후보를 비교하며 조치를 돕거나 실행하는 다단계 워크플로로 바뀌었다는 것입니다. 원문 링크는 제목 아래에 붙어 있습니다.

이 글은 그 전환을 천천히 따라가 보려는 기록입니다. 앞부분에서는 무엇이 바뀌었는지, 세 개의 전환이 무엇을 뜻하는지, 검토가 어떤 절차로 40편의 연구를 모았는지를 봅니다. 뒷부분에서는 평가 증거의 여섯 단계를 하나씩 짚고 행동 라벨의 함정과 최종 점수의 사각지대를 다룬 뒤 비어 있는 평가 칸과 증거에서 주장으로 이어지는 대응표, 앞으로의 의제를 차례로 봅니다. 마지막에는 현장에 가져갈 대목과 남는 질문을 정리합니다. 점수는 결과이고 평가는 과정입니다. 이 글에서는 과정에 오래 머물겠습니다.

채용은 왜 에이전트의 어려운 시험대인가

채용은 언어 모델에게 유독 까다로운 시험대입니다. 잘못된 채용 결정이 한 사람의 생계와 한 팀의 시간을 함께 흔들기 때문입니다. 검색이나 요약과 달리 채용에서는 답이 맞았는지를 바로 알기 어렵습니다. 뽑은 사람이 오래 일했는지, 팀에 잘 스며들었는지, 맡은 일을 해냈는지는 몇 달이 지나야 드러납니다. 그 사이에는 수많은 변수가 끼어듭니다. 그래서 채용 자동화는 처음부터 조심스러운 영역이었습니다. 이력서와 공고문의 쌍을 점수로 매기고 순위를 매기는 일이 주된 자동화의 모습이었습니다.

그런데 이 검토가 포착한 변화는 자동화의 대상 자체가 바뀌었다는 점입니다. 이제 시스템은 점수 하나를 내놓고 물러나지 않습니다. 문서를 읽고 증거를 찾고 여러 후보를 나란히 비교하고 면접을 돕거나 소싱 메시지를 보내고 사람에게 넘기는 일까지 이어서 합니다. 한 마디로 말하면 모델 하나가 아니라 일의 흐름이 자동화되고 있습니다. 프로필 쌍과 순위 목록이 주인공이던 시절에는 질문이 단순했습니다. 이 쌍이 얼마나 닮았는가, 이 목록의 순서가 얼마나 맞는가였습니다. 지금의 질문은 더 길어졌습니다. 올바른 증거를 찾았는가, 비교가 공정했는가, 넘기는 시점이 적절했는가가 함께 묻힙니다.

저희가 채용 도구를 볼 때도 같은 지점에서 멈춥니다. 점수표보다 먼저 묻는 것은 이 시스템이 어디까지 손을 뻗는가입니다. 점수만 내놓는지, 아니면 증거를 모아 비교하고 행동까지 이어가는지부터 봅니다. 손이 닿는 범위가 넓을수록 검증해야 할 것도 넓어집니다. 점수 하나를 검증하는 일과 일의 흐름 전체를 검증하는 일은 차원이 다릅니다. 흐름이 길어지면 고장 날 자리도 늘어납니다. 어느 단계에서 무엇을 근거로 판단했는지를 따지지 않으면 최종 결과만 보고 시스템을 믿게 됩니다. 이 검토가 워크플로라는 말을 앞세우는 이유가 여기에 있습니다. 자동화의 단위가 바뀌었으니 평가의 단위도 바뀌어야 한다는 선언입니다.

그래서 이 글도 점수 이야기로 시작하지 않습니다. 무엇이 자동화되고 있는지를 먼저 정리하고 그 다음에 어떻게 평가할지를 봅니다. 순서가 중요합니다. 대상을 잘못 잡으면 평가가 헛돕니다. 순위 목록을 기준으로 만든 잣대를 다단계 흐름에 그대로 들이대면 흐름의 품질이 보이지 않습니다. 반대로 흐름을 기준으로 만든 잣대를 점수 하나에 들이대면 과도한 요구가 됩니다. 이 검토의 출발점은 대상과 잣대를 함께 바꾸자는 제안입니다. 채용을 점수의 문제가 아니라 일의 흐름의 문제로 다시 쓰는 일부터 시작합니다.

세 개의 전환: 유사도에서 상호 적합성으로, 모델에서 워크플로로, 예측에서 증거로

이 검토는 변화를 세 개의 맞물린 전환으로 정리합니다. 첫째는 유사도에서 상호 적합성으로의 이동입니다. 둘째는 단일 모델에서 복합 워크플로로의 이동입니다. 셋째는 오프라인 예측에서 증거와 생산성에 맞춘 평가로의 이동입니다. 세 문장이 나란히 놓여 있지만 각각이 가리키는 방향이 다릅니다. 첫째는 무엇을 맞추는가의 문제이고 둘째는 무엇이 일하는가의 문제이며 셋째는 무엇을 재는가의 문제입니다.

첫 번째 전환부터 풀어보겠습니다. 예전의 매칭은 닮음을 쟀습니다. 이력서의 문장과 공고문의 문장이 얼마나 겹치는지, 임베딩 공간에서 얼마나 가까운지를 봤습니다. 닮음은 재기 쉽지만 채용의 질문과는 거리가 있습니다. 채용에서 묻는 것은 닮음이 아니라 어울림입니다. 후보가 직무에 맞는지와 함께 직무가 후보에게 맞는지가 함께 따져져야 합니다. 한쪽만 맞으면 오래가지 않습니다. 실력 있는 사람이 성장 없는 자리에 앉거나 좋은 자리에 준비 안 된 사람이 앉으면 둘 다 손해입니다. 이 검토가 상호적이라는 말을 쓰는 대목이 바로 여기입니다. 적합성은 한 방향의 화살이 아니라 양쪽을 오가는 확인이어야 한다는 뜻입니다.

두 번째 전환은 일하는 주체의 변화입니다. 예전에는 모델 하나가 점수를 내놓았습니다. 입력이 들어가고 점수가 나오는 구조였습니다. 지금의 시스템은 여러 단계가 이어진 흐름입니다. 문서를 이해하고 후보를 찾고 순위를 매기고 평가하고 인터뷰하고 소싱하고 사람에게 넘기는 단계들이 사슬처럼 연결됩니다. 각 단계마다 다른 기술이 쓰이고 다른 판단이 들어갑니다. 그래서 단일 모델의 성능표로는 흐름 전체를 설명할 수 없습니다. 어느 단계가 튼튼하고 어느 단계가 흔들리는지를 따로 봐야 합니다. 복합 워크플로라는 말은 이 사슬 구조를 가리킵니다. 자동화의 주인공이 점수 함수에서 일의 사슬로 바뀌었다는 뜻입니다.

세 번째 전환은 평가의 방향입니다. 예전에는 오프라인 예측이 중심이었습니다. 모아둔 데이터 위에서 정답을 얼마나 맞혔는지를 쟀습니다. 지금 묻는 것은 증거와 생산성입니다. 올바른 근거를 찾았는지, 불확실함을 그대로 두었는지, 사람이 따져볼 수 있는 결정을 도왔는지, 비용과 위험을 감안하고 결과를 나았는지가 잣대가 됩니다. 예측이 맞았는지를 넘어 일이 나아졌는지를 묻는 쪽으로 평가가 이동하고 있습니다. 이 대목은 뒤에 나오는 여섯 단계 증거와 단계별 대응표로 이어집니다. 무엇을 재야 하는지가 바뀌었으니 재는 틀도 새로 짜야 한다는 흐름입니다.

이 검토가 무엇을 어떻게 모았는가: 40편의 대표 연구

이 검토는 목적을 분명히 한 탐색과 코딩 절차에 기대고 있습니다. 2026년 7월 23일까지 갱신한 탐색에 2026년 9월 2일까지의 표적 갱신을 더했고 40편의 대표 연구를 정리했다고 밝힙니다. 숫자 자체보다 절차의 성격이 중요합니다. 모든 문헌을 빠짐없이 훑는 전수 조사가 아니라 질문에 답하는 데 필요한 대표작을 골라 엮는 방식입니다. 체계적 서술 검토라는 이름이 바로 이 방식을 가리킵니다. 서술 검토의 읽기 깊이와 체계적 검토의 절차적 엄밀함을 함께 취하겠다는 뜻입니다.

목적적 탐색이라는 말이 낯설 수 있어 질문을 바꿔보겠습니다. 왜 40편인가. 채용 AI의 문헌은 넓고 흩어져 있습니다. 매칭 모델 시절의 순위 학습 연구부터 문서 이해와 검색, 면접 지원과 소싱 자동화, 공정성과 거버넌스 논의까지 한 울타리에 들어 있지 않습니다. 이런 흩어진 땅에서는 전수 조사가 끝없는 목록이 되기 쉽습니다. 대신 대표작을 고르는 기준을 세우고 그 기준으로 엮으면 지도가 됩니다. 40편이라는 숫자는 지도의 밀도를 말합니다. 너무 적으면 빈 곳이 많고 너무 많으면 길이 안 보입니다. 대표성을 노린 선별이 성패를 가릅니다.

여기서 날짜가 눈길을 끕니다. 2026년 7월의 본 탐색에 9월 초의 표적 갱신을 더했다는 대목입니다. 에이전트 흐름이 빠르게 바뀌는 시기에 검토의 시계를 멈추지 않겠다는 뜻으로 읽힙니다. 채용 에이전트는 한 달 사이에도 새로운 워크플로와 평가가 나오는 분야입니다. 본 탐색 뒤에 표적 갱신을 붙이는 것은 지도에 최신 길을 덧그리는 일입니다. 날짜를 밝히는 습관도 믿음을 줍니다. 언제까지의 세상을 담았는지를 알려주면 읽는 쪽에서 빈 곳을 짐작할 수 있습니다. 검토의 정직함은 빠짐없음이 아니라 어디까지 담았는지를 솔직히 밝히는 데서 나옵니다.

저희가 이런 검토를 볼 때 함께 보는 것은 코딩의 틀입니다. 무엇을 기준으로 40편을 읽었는지가 지도의 범례가 되기 때문입니다. 이 검토는 평가 증거의 수준과 직무 흐름의 단계, 거버넌스 축을 기준으로 읽었다고 정리됩니다. 범례가 분명하면 다른 팀이 같은 범례로 새 연구를 얹을 수 있습니다. 지도는 한 번 그리고 끝나는 것이 아니라 덧그리며 쓰는 것입니다. 그래서 절차의 공개가 중요합니다. 무엇을 모았는지보다 어떻게 모았는지가 오래 남습니다. 이 검토가 탐색과 코딩 절차를 앞세우는 이유도 여기에 있습니다.

여섯 단계의 증거: 필드, 쌍, 목록, 사례, 궤적, 결과

이제 이 검토의 핵심 도구인 여섯 단계 증거 구분으로 들어갑니다. 필드 수준과 쌍 수준, 목록 수준, 사례 수준, 궤적 수준, 결과 수준이 그것입니다. 여섯 단어는 평가가 어디를 보았는지를 가리키는 눈금입니다. 필드는 문서 속 칸 하나하나를 제대로 읽었는지를 봅니다. 쌍은 후보와 직무의 한 쌍을 제대로 판단했는지를 봅니다. 목록은 여러 후보의 순서를 제대로 세웠는지를 봅니다. 사례는 한 건의 채용 결정을 끝까지 제대로 내렸는지를 봅니다. 궤적은 여러 단계에 걸친 행동의 길을 제대로 걸었는지를 봅니다. 결과는 그 모든 일이 끝난 뒤 실제 결과가 나아졌는지를 봅니다.

이 눈금이 직무 흐름의 단계들과 만나면 지도가 됩니다. 문서 이해와 검색, 순위 매기기와 평가, 인터뷰와 소싱, 사람에게 넘기기까지 각 단계마다 물을 수 있는 증거의 수준이 다릅니다. 문서 이해에서는 필드 수준의 정확함이 먼저 묻힙니다. 경력 기간이나 자격 같은 칸을 제대로 뽑아냈는지가 관건입니다. 검색과 순위에서는 쌍과 목록 수준이 묻힙니다. 관련 후보를 빠짐없이 찾았는지, 순서를 공정하고 일관되게 세웠는지가 관건입니다. 평가와 인터뷰에서는 사례 수준이 묻힙니다. 한 사람에 대한 판단이 근거와 함께 온전한지가 관건입니다. 소싱과 넘기기에서는 궤적과 결과 수준이 묻힙니다. 여러 걸음에 걸친 행동이 매끄러웠는지, 넘긴 뒤 실제로 일이 잘 풀렸는지가 관건입니다.

눈금을 나누는 일이 왜 중요할까요. 한 단계의 점수로 다른 단계를 대신 말하는 착각을 막기 때문입니다. 목록의 순서가 좋다고 해서 증거 찾기가 좋았다고 말할 수 없습니다. 쌍의 점수가 높다고 해서 인터뷰 진행이 매끄러웠다고 말할 수 없습니다. 각 수준은 각자의 질문에 답합니다. 필드 수준의 증거는 읽기 능력을 말하고 궤적 수준의 증거는 일하는 능력을 말합니다. 섞어 쓰면 시스템의 진짜 모습을 놓칩니다. 어디가 강하고 어디가 약한지를 가르는 해상도가 여섯 눈금의 선물입니다.

또 하나 생각할 지점은 아래 단계와 위 단계의 관계입니다. 아래가 튼튼하면 위가 설 가능성이 커지지만 보장은 없습니다. 필드를 잘 읽는다고 해서 사례 판단이 항상 옳지는 않습니다. 반대로 위가 좋아도 아래가 튼튼한지는 알 수 없습니다. 사례 판단이 맞았다고 해서 증거 찾기가 올바랐다고 단정할 수 없습니다. 운 좋게 맞았을 수도 있기 때문입니다. 그래서 여러 수준의 증거를 함께 모아야 합니다. 한 수준의 성공을 다른 수준의 성공으로 번역하지 않는 신중함이 필요합니다. 이 검토가 여섯 단계를 나란히 세우는 이유도 여기에 있습니다. 평가의 언어를 하나로 뭉개지 않고 층층이 나누겠다는 선언입니다.

행동 라벨의 함정: 노출과 선호와 자격이 뭉칠 때

평가 이야기를 더 들어가면 행동 라벨의 함정이 나옵니다. 클릭이나 지원, 합격 같은 행동 기록은 언뜻 정답처럼 보입니다. 사람이 실제로 한 행동이니 믿을 만해 보입니다. 그런데 이 검토가 지적하듯 행동 라벨에는 노출과 선호와 자격이 한데 뭉쳐 있습니다. 어떤 공고가 눈에 띄었는지, 어떤 조건을 좋아하는지, 실제로 일을 해낼 수 있는지가 하나의 기록 안에 겹쳐 있습니다. 클릭했다는 것은 자격이 있다는 뜻이 아니라 보였다는 뜻일 수 있습니다. 합격했다는 것은 실력이 있다는 뜻이 아니라 선호의 패턴을 통과했다는 뜻일 수 있습니다.

노출의 문제를 조금 더 풀어보겠습니다. 채용 플랫폼에서 무엇이 보이지는 우연이 아닙니다. 추천 순서와 광고 집행, 검색어의 유행이 노출을 정합니다. 노출되지 않은 후보는 아무리 맞아도 기록에 남지 않습니다. 그래서 행동 데이터는 조용한 다수를 빠뜨립니다. 본 것만 기록되고 본 것만 배우면 시스템은 보이는 쪽으로 기울어집니다. 기울어진 데이터로 배운 시스템은 다시 보이는 쪽을 보여줍니다. 순환이 닫히면 편향이 굳어집니다. 이 고리를 끊으려면 노출의 구조를 함께 재야 합니다. 누가 어디에 얼마나 노출되었는지를 모르면 행동의 뜻을 해석할 수 없습니다.

선호의 문제도 만만치 않습니다. 과거의 선택에는 취향과 관행이 스며 있습니다. 특정 학교나 특정 경력 경로를 좋아하는 패턴이 기록에 남습니다. 패턴을 그대로 배우면 관행이 기준이 됩니다. 자격의 문제와 섞이면 더 복잡해집니다. 실제로 일을 잘할 사람과 과거에 뽑혔던 사람이 같은 부류가 아닐 수 있습니다. 과거의 합격이 미래의 성과를 보장하지 않기 때문입니다. 행동 라벨을 정답으로 쓰면 이 셋을 구분하지 않고 뭉뚱그려 배웁니다. 그래서 이 검토는 행동 라벨을 조심하라고 말합니다. 편하다는 이유로 뭉친 것을 정답으로 쓰지 말라는 뜻입니다.

여기에 데이터의 출처 문제까지 겹칩니다. 사적인 데이터와 합성 데이터가 외부 타당도를 제한한다는 지적이 그것입니다. 사적인 데이터는 실제에 가깝지만 바깥에서 검증할 수 없습니다. 무엇이 들어 있는지, 어떤 편향이 있는지를 남이 확인할 길이 없습니다. 합성 데이터는 검증하기 쉽지만 실제와 거리가 있습니다. 만든 사람의 가정이 그대로 박혀 있습니다. 둘 다 나름의 쓸모가 있지만 둘 다 바깥 세상에서의 통함을 보장하지 않습니다. 그래서 평가의 claims는 겸손해야 합니다. 안에서 통했다고 밖에서도 통한다고 말할 수 없습니다. 이 대목은 뒤에 나오는 단계별 대응표로 이어집니다. 증거의 성격에 맞는 주장만 하라는 원칙입니다.

최종 점수가 숨기는 것: 파이프라인 고장의 진단

다단계 흐름에서 가장 조심해야 할 착각이 다음 대목에 나옵니다. 최종 출력의 점수가 파이프라인의 고장을 가린다는 지적입니다. 마지막 답이 맞았으니 중간 과정도 좋았으리라 짐작하는 습관이 문제입니다. 흐름이 길어질수록 이 짐작은 위험해집니다. 증거 찾기가 엉망이었는데 우연히 답이 맞을 수 있습니다. 비교가 치우쳤는데 막판 판단이 운 좋게 바로잡을 수 있습니다. 점수 하나만 보면 이런 우여곡절이 보이지 않습니다. 결과가 좋으니 과정도 좋았다는 착각이 들어섭니다.

파이프라인의 고장은 여러 자리에 숨어 있습니다. 검색이 관련 문서를 빠뜨리는 자리, 읽기가 칸을 잘못 뽑는 자리, 순위가 순서를 뒤섞는 자리, 평가가 근거 없이 단정하는 자리, 넘기기가 너무 이르거나 너무 늦는 자리가 각각 있습니다. 최종 점수는 이 모든 자리를 하나의 숫자로 뭉갭니다. 숫자가 낮게 나오면 어디가 아픈지 알 수 없습니다. 숫자가 높게 나오면 어디가 튼튼한지 알 수 없습니다. 진단의 손이 닿지 않습니다. 고칠 곳을 모르면 고칠 수도 없습니다. 그래서 단계별 진단이 필요합니다. 각 단계마다 무엇을 근거로 판단했는지를 따로 재야 합니다.

저희가 에이전트 기록을 들여다볼 때도 같은 답답함을 느낍니다. 겉으로는 멀쩡한 답 뒤에 깨진 고리가 숨어 있는 경우가 적지 않기 때문입니다. 어떤 기록은 검색어를 세 번 고쳐 쓰고 답에 이릅니다. 어떤 기록은 첫 검색에 답 근처까지 갔다가 쓸데없는 확인을 열 번 반복합니다. 최종 답만 보면 둘 다 정답입니다. 과정의 질은 전혀 다릅니다. 전자는 고치는 법을 보여주고 후자는 헤매는 법을 보여줍니다. 채용 흐름도 마찬가지입니다. 최종 추천이 그럴듯해 보여도 증거 찾기가 부실했다면 그 성공은 빌린 성공입니다. 다음에는 무너질 수 있습니다. 단계별 증거가 있어야 빌린 성공과 지은 성공을 가를 수 있습니다.

이 대목을 실무의 말로 바꾸면 이렇습니다. 시스템을 살 때는 최종 점수표를 먼저 보지 말고 단계별 성적표를 요구하라는 것입니다. 검색의 재현율은 어떤지, 문서 읽기의 정확함은 어떤지, 비교의 일관성은 어떤지, 넘기기의 타이밍은 어떤지를 따로 물어야 합니다. 한 장의 총점이 아니라 여러 장의 부분 점수가 필요합니다. 총점이 좋아도 부분 점수가 깨진 곳이 있으면 그 시스템은 모래 위에 선 것입니다. 반대로 총점이 흔들려도 부분 점수가 튼튼한 곳이 있으면 고칠 길이 보입니다. 진단이 처방을 낳습니다. 최종 점수의 사각지대를 인정하는 것이 튼튼한 도입의 첫걸음입니다.

비어 있는 칸: 프라이버시와 네 가지 축의 동시 평가

이 검토에서 가장 뼈아픈 대목은 비어 있는 칸에 대한 보고입니다. 코딩한 연구들 가운데 프라이버시를 직접 평가한 경우가 없고 효용과 공정성, 프라이버시와 보안을 함께 평가한 행이 하나도 없다는 것입니다. 한 마디로 말하면 아무도 네 가지를 함께 보지 않았다는 뜻입니다. 각각을 따로 본 연구는 있어도 네 축을 한 표에 올린 평가는 없었다는 보고입니다. 빈 칸은 우연이 아니라 분야의 습관을 비춥니다. 잘 재는 것만 재고 재기 어려운 것은 미뤄둔 결과입니다.

왜 네 가지를 함께 봐야 할까요. 채용에서는 네 축이 서로 맞물리기 때문입니다. 효용을 올리려다 공정성을 해치기 쉽습니다. 과거의 성공 패턴을 좇으면 소수 경로의 후보가 밀려납니다. 보안을 튼튼히 하려다 프라이버시를 해치기 쉽습니다. 더 많은 정보를 모을수록 유출의 표면이 넓어집니다. 프라이버시를 지키려다 효용이 흔들리기도 합니다. 민감한 정보를 가리면 판단의 재료가 줄어듭니다. 하나씩 따로 보면 이런 맞바꿈이 보이지 않습니다. 네 축을 함께 올려야 무엇을 주고 무엇을 얻었는지가 드러납니다. 맞바꿈을 숨긴 평가는 반쪽 평가입니다.

프라이버시의 빈자리가 특히 아픕니다. 채용 시스템은 민감한 정보를 가장 많이 다루는 시스템 가운데 하나입니다. 주민번호와 주소, 경력과 연봉, 건강과 가족 이야기가 오갑니다. 그런데 평가에서는 프라이버시가 직접 다뤄지지 않았다고 합니다. 다루지 않는다는 것은 재지 않는다는 뜻이고 재지 않는다는 것은 관리되지 않는다는 뜻입니다. 유출 사고가 나기 전에는 조용한 칸이지만 사고가 난 뒤에는 가장 시끄러운 칸이 됩니다. 조용한 칸을 미리 채우는 것이 거버넌스의 일입니다. 빈 칸을 빈 칸으로 부르는 것부터가 진전입니다.

저희가 도입 검토를 할 때도 네 축을 한 장에 올리려고 합니다. 효용의 숫자와 공정성의 분해, 프라이버시의 취급 원칙과 보안의 시험 기록을 나란히 둡니다. 한 축이 비면 빈 칸으로 둡니다. 빈 칸을 숨기지 않습니다. 빈 칸이 보이면 다음 할 일이 보입니다. 무엇을 더 재야 하는지, 무엇을 더 물어야 하는지가 분명해집니다. 이 검토의 빈 칸 보고는 그래서 실무에도 쓸모가 있습니다. 남의 빈 칸을 보며 우리 표의 빈 칸을 점검하는 거울이 됩니다. 아무도 함께 보지 않았다는 사실이 곧 우리가 함께 봐야 한다는 과제가 됩니다.

증거에서 주장으로: 단계별 대응표 읽기

빈 칸을 확인했으면 다음 질문은 이것입니다. 가진 증거로 어디까지 말할 수 있는가. 이 검토가 내놓은 단계별 대응표가 바로 이 질문에 답합니다. 평가 증거의 수준에 따라 내세울 수 있는 가장 강한 주장을 연결하는 표입니다. 필드 수준의 증거가 있으면 읽기 능력을 말할 수 있습니다. 목록 수준의 증거가 있으면 순위 능력을 말할 수 있습니다. 궤적 수준의 증거가 있으면 흐름을 다루는 능력을 말할 수 있습니다. 결과 수준의 증거가 있어야 비로소 결과가 나아졌다고 말할 수 있습니다. 증거보다 큰 주장은 금물이라는 원칙입니다.

이 표가 귀한 이유는 과장 광고의 유혹을 끊기 때문입니다. 채용 시장은 수식어가 넘치는 곳입니다. 정확도 몇 퍼센트라는 숫자가 채용의 성공으로 둔갑하기 쉽습니다. 목록의 순서가 좋다는 보고가 좋은 채용이라는 주장으로 바뀌기 쉽습니다. 대응표는 이런 점프를 막는 난간입니다. 가진 패보다 크게 부르지 말라는 규칙입니다. 목록 수준의 증거를 쥐고 결과 수준의 주장을 하지 말라는 뜻입니다. 겸손의 규칙이자 정직의 규칙입니다.

대응표를 뒤집어 읽으면 평가 설계의 지침도 됩니다. 어떤 주장을 하고 싶은지를 먼저 정하고 그 주장에 맞는 증거를 모으라는 순서입니다. 좋은 채용을 돕는다고 말하고 싶으면 결과 수준의 증거를 설계해야 합니다. 흐름을 잘 다룬다고 말하고 싶으면 궤적 수준의 증거를 모아야 합니다. 주장에서 증거로 거꾸로 계획하는 습관입니다. 보통은 반대로 합니다. 있는 증거를 모아놓고 거기에 맞는 과한 주장을 얹습니다. 순서가 바뀌면 평가가 달라집니다. 하고 싶은 말을 먼저 적고 그 말에 필요한 증거를 묻는 일부터 시작해야 합니다.

저희가 보고서를 쓸 때도 이 표를 마음에 둡니다. 숫자를 하나 내놓을 때마다 스스로에게 묻습니다. 이 숫자가 어느 수준의 증거인가, 이 증거로 어디까지 말할 수 있는가. 필드 수준의 숫자로 사례 수준의 말을 하지 않았는지, 목록 수준의 숫자로 결과 수준의 말을 하지 않았는지 점검합니다. 점검이 끝나면 표현을 고릅니다. 과한 수식어를 걷고 증거가 허락하는 만큼만 말합니다. 말이 겸손해지면 오히려 믿음이 커집니다. 독자는 과장이 아니라 경계를 믿기 때문입니다. 대응표는 그래서 글쓰기의 도구이기도 합니다. 무엇을 말할지를 정하는 것이 아니라 어디까지 말지를 정하는 도구입니다.

앞으로의 의제: 상호적이고 근거 있고 시간 통제되고 선별적이고 감사 가능한 시스템

마지막으로 이 검토가 내미는 앞으로의 의제를 펼칩니다. 상호적이고 증거에 grounded되며 시간적으로 통제되고 선별적이며 감사 가능한 시스템이 그것입니다. 다섯 낱말이 나란히 놓여 있지만 각각이 다른 숙제를 가리킵니다. 하나씩 풀어보겠습니다.

상호적이라는 말은 첫 번째 전환으로 돌아갑니다. 후보가 직무에 맞는지만 보지 말고 직무가 후보에게 맞는지도 보라는 뜻입니다. 오래 일할 수 있는 자리인지를 함께 따지라는 뜻입니다. 채용은 한 번의 거래가 아니라 긴 동행의 시작입니다. 동행이 길어지려면 양쪽이 맞아야 합니다. 시스템이 한쪽만 보면 반쪽짜리 추천이 됩니다. 양쪽의 맞춤을 함께 재는 평가가 필요합니다. 상호성의 의제는 평가의 눈을 한쪽에서 양쪽으로 넓히는 일입니다.

증거에 grounded된다는 말은 판단마다 근거를 붙이라는 뜻입니다. 이 후보를 왜 올렸는지, 왜 내렸는지를 문서 속 문장으로 가리키라는 뜻입니다. 근거가 있으면 사람이 따져볼 수 있습니다. 따져볼 수 있으면 고칠 수 있습니다. 근거 없는 점수는 반박할 길이 없습니다. 믿거나 말거나의 선택만 남습니다. 채용처럼 다툼이 생기기 쉬운 영역에서는 다툴 수 있는 결정이 필요합니다. 근거는 다툼의 재료입니다. 근거를 붙이는 습관이 시스템을 contestable하게 만듭니다.

시간적으로 통제된다는 말은 정보의 시계를 맞추라는 뜻입니다. 미래의 정보를 과거의 판단에 슬쩍 쓰지 말라는 뜻입니다. 채용 데이터에서는 시간 누수가 흔합니다. 나중에 생긴 기록이 earlier 판단의 재료로 들어가는 경우가 있습니다. 시계를 맞추지 않으면 성능이 부풀려집니다. 실제로는 쓸 수 없는 정보를 쓴 셈이 되기 때문입니다. 시간 통제의 의제는 평가의 시계를 잠그는 일입니다. 언제까지의 정보로 판단했는지를 분명히 하라는 뜻입니다.

선별적이라는 말은 모르면 모른다고 하라는 뜻입니다. 모든 경우에 답을 내놓지 말고 자신 없을 때는 사람에게 넘기라는 뜻입니다. 채용에서는 틀린 확신보다 솔직한 유보가 낫습니다. 잘 모르는 후보를 억지로 재단하면 해가 큽니다. 넘기기의 타이밍이 곧 시스템의 품격입니다. 언제 멈추고 언제 넘기는지를 배우는 것이 선별성의 공부입니다. 감사 가능하다는 말은 이 모든 과정을 나중에 돌이켜볼 수 있게 하라는 뜻입니다. 누가 무엇을 근거로 언제 판단했는지를 기록으로 남기라는 뜻입니다. 기록이 있어야 책임이 서고 책임이 있어야 믿음이 섭니다. 다섯 의제는 결국 하나의 문장으로 모입니다. 맞는 상대를 근거 있게, 시계를 맞춰, 모르면 넘기고, 나중에 따져볼 수 있게 뽑으라는 것입니다.

현장에 가져갈 것과 남는 질문

이제 현장의 이야기로 글을 닫습니다. 당장 가져갈 대목부터 골라보겠습니다. 첫째, 평가의 눈금을 여섯 단계로 나누는 습관입니다. 시스템을 볼 때 최종 점수 하나만 묻지 말고 단계별 증거를 따로 묻는 일입니다. 검색의 재현율과 읽기의 정확함, 순위의 일관성과 판단의 근거, 흐름의 매끄러움과 넘김 뒤의 결과를 나눠 묻는 습관입니다. 나눠 물으면 고칠 곳이 보입니다. 둘째, 행동 라벨을 해석하는 조심함입니다. 클릭과 합격의 숫자를 볼 때 노출의 구조를 함께 묻는 습관입니다. 보였다는 것과 맞다는 것을 구분하는 눈입니다. 셋째, 네 축을 한 장에 올리는 표입니다. 효용과 공정성, 프라이버시와 보안의 칸을 나란히 두고 빈 칸을 빈 칸으로 두는 습관입니다.

저희 팀의 다음 할 일도 적어봅니다. 먼저 도입하려는 도구의 단계별 성적표를 요구하는 일입니다. 총점만으로 사지 않고 부분 점수를 보고 사는 일입니다. 다음으로 시간의 시계를 점검하는 일입니다. 평가에 미래의 정보가 스며들지 않았는지를 묻는 일입니다. 다음으로 넘기기의 기준을 문서로 남기는 일입니다. 언제 사람에게 넘기는지를 규칙으로 적고 기록으로 확인하는 일입니다. 거창한 거버넌스가 아니라 이런 작은 습관들이 모여 시스템을 믿을 만하게 만듭니다. 검토의 의제를 현장의 체크리스트로 번역하는 일이 남았습니다.

남는 질문을 적으며 글을 마칩니다. 워크플로가 길어질수록 평가는 무거워집니다. 여섯 단계를 다 재고 네 축을 다 보면 비용이 큽니다. 어디까지 재야 충분한가. 작은 팀도 돌릴 수 있는 가벼운 평가의 묶음은 무엇인가. 또 하나, 상호성의 측정은 어디까지 가능한가. 직무가 후보에게 맞는지를 시스템이 어떻게 알 수 있는가. 장기 근속과 성장의 기록이 필요한데 그런 데이터는 흩어져 있고 민감합니다. 마지막으로 근거의 품질은 누가 재는가. 근거를 붙였다고 해서 좋은 근거는 아닙니다. 좋은 근거와 꾸민 근거를 가르는 잣대가 따로 필요합니다. 이 검토가 지도를 그렸으니 다음 연구들이 길을 닦을 차례입니다. 저는 그 다음 보고서를 기다리며 이 기록을 마칩니다.