Model Validation
성능은 올렸고,
한계는 규명했습니다
소상공인 신용평가 모델 SBCR 의 세대별 검증 결과입니다. 같은 표본·같은 분할에서 세 설계를 비교했고, 무엇이 통했는지보다 무엇이 통하지 않았고 그 이유가 무엇인지를 더 길게 기록했습니다.
세 세대, 같은 자로 잰 결과
표본외(out-of-sample) 판별력 · 모형 학습에 쓰지 않은 기간으로 채점했습니다
0.7470
상권 집적도·매출 변동·동조 수준을 로지스틱으로 결합한 1세대 설계입니다.
0.7847
NUS Risk Management Institute 계보의 forward intensity 구조를 이식해 1·2·4분기 부도확률의 기간구조를 산출합니다. v1 변수를 다시 더하면 오히려 0.0058 떨어졌습니다.
0.8325
분기 시계열을 고정 요약으로 뭉개던 층을 평탄화 MLP 로 바꿨습니다. 고정 요약 0.8083 대비 0.0242 상승했습니다.
AUC 는 무엇을 재는가 — 실제로 문제가 생긴 사업자 한 곳과 그렇지 않은 사업자 한 곳을 무작위로 뽑았을 때, 모형이 문제가 생긴 쪽에 더 높은 위험 점수를 준 비율입니다. 0.5 는 동전 던지기와 같고 1 에 가까울수록 잘 가려냅니다. 수십 년 결제이력을 쓰는 카드사 소매평가가 0.70~0.80 구간입니다. 신용거래 이력을 한 줄도 쓰지 않고 0.83 을 확인했습니다.
Provenance
방법론의 출처를 밝힙니다
v2 의 성능 상승은 새로 지어낸 구조에서 나오지 않았습니다. 신용위험 학계에서 검증된 forward intensity 모형을 상권 데이터에 이식한 결과입니다.
NUS Risk Management Institute 계보
2006 — RMI 설립. 싱가포르국립대(NUS) 연구소이며, 설립을 싱가포르 통화청(MAS)이 지원했습니다.
2009 — 신용평가 연구 조직 CRI(Credit Research Initiative)가 RMI 에서 출범했습니다.
2021 — NUS AIDF 출범. MAS · NRF · NUS 가 공동 설립한 대학 내 연구소입니다.
현재 — CRI 는 AIDF 의 Deep Credit Analytics Lab 으로 편입되어 운영되고 있습니다.
AIDF 공식 소개 — “The Asian Institute of Digital Finance (AIDF) is a university-level institute in the National University of Singapore (NUS), jointly founded by The Monetary Authority of Singapore (MAS), the National Research Foundation (NRF) and NUS.”
RMI 와 CRI 는 대학 연구기관입니다. 감독기관의 산하 조직이 아니며, MAS 는 설립·공동설립 주체로 참여했습니다.
이 계보가 만든 것을 누가 쓰는가
NUS-CRI 의 신용위험 데이터와 툴킷은 학계·기업·규제기관이 전 세계에서 사용합니다. 그중 BuDA(Bottom-up Default Analysis)는 CRI 와 IMF 가 공동 개발한 신용 스트레스 테스트 툴킷으로, 거시 시나리오 아래 개별 기업의 부도확률을 평가하는 틀입니다.
최병근 대표는 이 BuDA 툴킷의 Product Manager 로 참여했습니다. SBCR v2 가 이식한 forward intensity 구조는 여기서 다룬 방법론과 같은 계보입니다.
위 기관 목록은 NUS-CRI 의 데이터·툴킷 사용처이며, 특정 개인의 고객 명단이 아닙니다.
이 계보를 공유하는 연구진
박세영
Seyoung Park
공동연구 · University of Nottingham
- 노팅엄대 부교수
- 자산가격·가계금융 이론
- NUS AIDF 계열 연구 이력
이현탁
Hyuntak Lee
공동연구 · 가천대학교
- 가천대 조교수
- 신용위험·계량모형
- NUS AIDF 계열 연구 이력
최병근
Byung-Geun Choi
모델 설계·구현 · 주식회사 레나에이아이
- NUS Risk Management Institute 연구원 (2017–2019)
- IMF 공동개발 BuDA 툴킷 Product Manager
- 삼성자산운용 · NH아문디 · 한국투자신탁운용
- Operations Research Letters (2016) 외
세 사람은 Finance Research Letters(SSCI) 투고 논문 「Credit Expansion Opportunities and Inclusive Household Finance」의 공저자입니다. 이현탁·최병근은 여신금융협회 「여신금융」 제86호 논단 「폐업은 부도가 아니다」를 함께 썼습니다.
What We Rejected
기각한 것을 함께 적습니다
통과한 설계만 보여주는 검증은 검증이 아닙니다. 세워 보고 접은 가설을 남깁니다.
공간 네트워크를 예측에 쓰는 것
매출 공행 네트워크는 실재합니다. 표본 밖 지속성이 z≈116 으로 확인됐습니다. 그러나 이웃 40개를 자유 변수로 주어도 판별력 증분은 0.0051 하락이었습니다.
어텐션 구조
어텐션(0.8373)이 평탄화 MLP(0.8325)를 0.0048 앞섰지만 PR-AUC 는 MLP 가 높았습니다(0.4376 대 0.4263). 복잡도를 감당할 이득이 아니라고 판단해 채택하지 않았습니다.
매출 감소 라벨을 폐업의 대리변수로 쓰는 것
「분기 매출 30% 감소」 셀의 실제 폐업률은 그 외 셀과 다르지 않았습니다(음식점 0.99배·의료 1.05배). 결함이 아니라 지표의 성격이므로, PD 를 Probability of Distress 로 재정의했습니다.
그리고 하나는 데이터의 한계였습니다
상권 사이의 폐업 전파는 분기 자료에서 거의 잡히지 않았습니다(위험비 1.036). 그것이 현상이 없어서인지 자료가 거칠어서인지 가르기 위해, 같은 현상을 일 단위 폐업일로 다시 쟀습니다. 서울 일반음식점 폐업 135,639건 기준입니다.
같은 건물 · 같은 업태
1.85배 z=49.9
같은 건물 · 다른 업태
1.24배 z=16.2
업태를 가린다는 점이 핵심입니다. 철거나 건물주 사정이라면 업태를 가리지 않을 것입니다. 그리고 같은 자료를 분기로 뭉개면 1.845 가 1.585 로 떨어집니다 — 분기 집계가 신호의 3분의 1을 지웁니다.
그래서 정확한 진술은 “전파가 없다”가 아니라 “이 해상도에서 그 층위에는 없다”입니다. 공간 전파는 실재하며, 일·월 단위 자료가 확보되면 모형이 다시 쓸 수 있는 신호입니다.
Full Report
검증 보고 전문은 개별 제공합니다
표본 구성, 분할 방식, 층별 기여 분해, 재보정 절차와 조정 이력을 담은 전문은 평가사 · 여신기관 · 투자기관에 개별적으로 제공해 드립니다. 펀드매니저 출신 최병근 대표가 직접 설명합니다.
검증 보고 요청하기