[피오르] 3-1. "진짜" 들의 표본 분석(1): 할 거면 제대로

안녕하세요
피오르 컨설팅 팀, 메디컬 팀 소속 BrainBox입니다.

2024년 새해가 밝아오면서, 정시 원서 지원일이 코앞으로 다가왔습니다.

이전 글: 3-0. 낙지를 진뢰할 수 없는 이유 에서 말했듯이, 낙지를 온전히 신뢰할 수 없기에 입시에 관심을 갖는 많은 학생, 학부모님들이 각 대학의 합격가능성을 확인하기 위해 “낙지 표본분석“을 많이 하시는 것 또한 잘 알고 있습니다.

상담을 받으시면서 손수 분석하신 내용을 말씀해주시는 분들도 많기도 하구요.

그런데 표본 분석에서 발생하는 오차들 혹은 고려해야 하는 변수를 잘 모르셔서 이 부분에 대한 충분한 고려 없이 분석을 진행하시다 보니 다소 정확도 낮은 분석 결과를 가지고 오시는 분들이 많이 계십니다.

아마 저에게 오시지 않으셨던 분들 중에도 표본 분석을 하시는 학생분들이나 학부모님들께서 계시다면, 같은 상황이신 분들이 꽤 많으실 것이라고 생각합니다.

그래서 오늘은 그런 분들을 위해서 표본 분석을 하실때 신경쓰셔야 할 부분들이나, 고려해야하는 부분들에 대해 설명 드리려고 합니다.

표본 분석을 하려고 하시거나, 이미 하신 분들께 도움이 되시리라 생각합니다.

읽으시면서 “난 이미 이렇게 하고 있는데?” 라는 생각이 드신 분들은 충분히 잘하고 계신 것이니 계속 하시던 대로 하시면 충분합니다!

그럼 시작하겠습니다.

글은 이전에도 그랬듯 간결한 문체로 진행된다는 점 이해해 주세요!

part1. 표본은 “일부”이다.

우리가 분석하는 것은 분명히 표본이다. 이부분은 표본 분석을 하는 누구도 헷갈려 하지 않는다.

그런데 우리가 실제로 각 대학에 지원했을 때, 우리가 속해 있는 집단은 표본이 아니다.

이 부분을 명확히 구분할 줄 아는 것이 바로 표본 분석의 첫 단추이다.

첫 단추를 잘못 맞추면 그 이후도 무너지듯이, 이 부분을 명확히 구분하지 못하면 이후에 진행하는 표본 분석은 그 정확도를 잃게 될 수 밖에 없다.

아래의 사진은 그 관계를 어떤 사진보다 명확히 나타내 줄 것이다.

대다수의 학부모님들 혹은 학생들이 분석의 대상으로 삼는 자료는 낙지의 표본일 것이며, 나와 같은 컨설팅을 전문으로 하는 사람에게는 그보다는 좀 더 많은 표본이 있을 것이다.

그러나 표본의 크기는 중요한 것이 아니다.

물론 보다 많은 표본을 확보할 수록 표본 분석의 정확도는 올라갈 것이나, 이 부분은 학생이나 학부모님들이 어떻게 자력으로 해결할 수 있는 부분이 아니므로 이 글에서 표본의 다양성에 대한 내용은 생략하고 넘어가겠다.

이 다이어그램을 보면서 우리가 느껴야 하는 것은, 그 누구도 1번과 3번 영역이 비어있는 표본을 가질 수는 없다는 것이다.

1번과 3번을 비울 수 있다는 것은, 그 표본이, 그 대학을 실제로 지원하는 사람의 집합과 100프로 일치한다는 것이다. 

그러므로 1번과 3번이 없는 표본, 즉 실지원자 집단과 완전히 일치하는 표본을 수집할 수 있는 것은 그 대학의 입학처가 유일하다. 

이때 표본 분석을 ‘올바르게’ 진행한다면, 당연히 100%의 정확도를 갖게될 것이나, 그것이 가능할 리가 없다.

만약 가능하다면 “정시 예측”이라는 말 자체가 성립하지 못하지 않을까?

여기까지 글을 읽은 독자들라면, 각자가 분석하고 있는 “표본”의 포함관계를 정확하게 이해했을 것이다.

그럼 이쯤에서, “표본 분석”이라는 말을 구체적이고 명확하게 다시 한번 정의해보자.

지금까지 대부분의 사람이 “표본 분석”을 그냥 ‘낙지의 표본 중 추가합격자 수를 구해서 실제 합격인원을 구하는 과정’ 쯤으로 생각하고 있었을텐데, 이는 반쪽짜리 대답에 불과하다.

내가 생각하는 “표본 분석”은 ‘표본의 구성을 반영해 2번 영역 중에 있는 추가합격자를 세는 것 뿐 아니라, 표본에 없는 1번 영역을 반영하고, 표본에만 있을 3번 영역을 배제해, 표본 상 몇 등까지를 합격 선으로 볼 것인지 구하는 과정‘ 이다.

다소 정의가 길어진 감이 없진 않지만, 이렇게 표현해야, 표본 분석의 온전한 의미를 담을 수 있다.

part2. 오차는 누적된다

part1까지는, 사실 그래도 공부를 어느 정도 하신 분들 이라면 충분히 인지했을 부분이다.

앞서 말한 것과 같이 완전히 체계화 해 생각하지는 못했을 수 있으나, 표본이 곧 실제 지원지 집단은 아니라는 것은 알았을 것이라는 의미이다.

그런데 이 부분의 경우는 조금 다르다.

대부분의 학생 혹은 학부모님은 물론, 나름 컨설팅을 한다고 하는 사람들 중에서도 이 부분을 무시하거나, 알지 못하는 경우가 꽤 많다. 이 부분을 무시하고 표본 분석을 진행하면, 커트라인이 나오긴 하겠지만, 제대로 도출한 커트라인과는 그 정확도가 질적으로 다를 수 밖에 없으니 꼭 새겨 듣길 바란다.

‘오차가 누적된다’ 는 소제목에서 눈치챘을 독자도 있겠지만, 이 부분에서 내가 짚고자 하는 부분은 바로 윗 라인의 잘못된 커트라인이 아래에도 영향을 미친다는 의미이다.

예를 들기 위해, 실제 상황을 간소화해서 재구성 하였다.

아래의 상황을 보자.

다음 상황에서의 전제 조건은 다음과 같다.

∙ “서울대” 와 “서강대” 는 나군이고, “연세대” 는 가군이다.
∙ 피라미드 상의 위상은 학생의 선호를 나타낸 것으로, 학생의 선호는 서울대 > 연세대 > 서강대 순이라고 가정한다.
∙ 선호라는 것은, 둘 다 합격할 경우, 더 높은 선호를 갖는 대학에 실제로 등록한다는 의미라고 생각하면 된다.
∙ 각 학교의 정원은, 서울대 5명, 연세대 10명, 성균관대 10명,
∙ ‘브박이‘라는 학생이 “성균관대”를 지원하려고 하고 있고, 합격 가능성 확인을 위해 ‘성균관대’의 표본을 분석하려는 상황이다.
∙ part1에서 다룬 내용과는 독립적인 내용이므로 실제 지원 등수 = 표본 등수 라고 가정한다.

가장 먼저 브박이는 다른 사람들처럼, 성균관대학교를 실지원 대학으로 J사에서 설정한 후, 성균관대의 표본을 1등부터 뜯어보기로 하였다.
이 과정에서 브박이가 수집한 표본의 모습은 다음과 같다(이 부분 역시, 이해를 돕기위해 표본을 구성한 것이지, 실제 성균관대 표본과는 일체 무관하다).

표본을 뜯어 볼 때, 실제 낙지에서는 각 표본에서 다음과 같은 형식으로 그 표본의 정보를 제시한다.

낙지에서는 각 군별 해당 표본의 지원 대학과, 등록 희망 순위, 그리고 합/불 여부를 알려주는데,
이를 고려해 예시에서는, 순서를 통해 지원 대학과 등록 희망 순위를, 붉은색과 푸른색으로 합/불 여부를 나타내었다.

이제 다시 위의 예시로 돌아가보자.
브박이가 예측한 커트라인을 살펴보기 전에, 브박이가 파악할 수 있는 정보는 다음과 같다.

∙ J사의 성대 예측 컷은 17등이다
∙ 연대식 점수과 성대식 점수 산출 방식이 다르다(같다면 연대 합격자가 듬성듬성 있지 않을 것이다).

위의 정보까지 파악한 후, 브박이는 표본 상 커트라인을 다음과 같이 예상할 것이다.

물론, 현실에서는 part1에서 말한 부분까지 고려해서, 표본 미유입 인원과 추가합격자 검증까지 진행해야겠지만, 이 파트에서 말하고자 하는 내용과는 독립적인 부분이라 그 부분은 생략하였다.

자, 여기까지 브박이와 함께, 가장 일반적인 표본 분석을 진행하였고, 결과적으로 예측 컷 까지 나타내었다.

아마 대부분의 학부모님 혹은 학생들, 심지어 컨설턴트들도 다음과 같은 방법으로 컷을 예측하면서 표본 분석을 진행하였을 것이다.

그런데 이 과정에 아주 치명적인 오류가 있다.
무엇일까?

오류를 잡아내기 위해, 좀 더 본질적인 접근을 해보자.

우리가 표본 분석을 하는 이유가 무엇일까?

.
.
.

너무 쉬운 질문이라 대부분의 독자들이 코웃음을 쳤을 수도 있다.
그 질문에 대한 답은 다음과 같다.

A. 낙지의 컷을 신뢰하지 못해서, 실제로 표본을 분석해 자신의 분석에 따른 자신만의 컷을 구하기 위해서

즉, 표본 분석은 올바른 컷을 구하기 위한 것이다.

…브박이가 추가합격자를 구한 과정으로 돌아가보자.
브박이는 구한 5명의 추가합격자 수는, 연대와 성대에 동시에 합격할 성대 기준 1,2, 5, 7, 10 등을 집계한 것이다.

그 5명은 그렇다면 어떤 기준으로 연대 합/불 판단을 받은 것인가?

이쯤이면 독자들이 모두 눈치챘을 것이다. 그 5명은, 브박이가 직접 구한 컷에 따른 합격자가 아니다.

J사에서 예측한 연대의 컷에 따랐을 때, 합격하는 사람들이다.

낙지를 이용해 표본 분석을 하는 과정에서, 우리가 신뢰하지 못하는 낙지의 컷이, 그 컷을 정정하는 데에 깊이 관여하는 모순이 발생한다.
낙지 컷을 못 믿어서, 직접 표본을 분석해 정확한 컷을 구하려고 했는데, 그 컷도 사실은 부정확한 낙지의 컷에 영향을 받는다는 것이다.

결론적으로, 이러한 과정을 반복하며 표본 분석을 한다면, 낙지의 상위 대학의 부정확한 커트라인은 하위 라인의 표본 분석 결과에 누적되어, 결과적으로 꽤 큰 오차를 만들어 내는 것이다.

대부분의 사람들이 무의식적으로 이 부분을 경시하고, 낙지의 컷대로 합/불 여부를 판단해 표본 분석을 진행한다.

그런데 그 분석결과에는 이미 낙지의 컷이 깊이 관여되어 있고, 그렇게 구한 분석 결과는 ‘나’의 분석 결과가 아니다.
낙지에 따른 컷에 오히려 가까울 수도 있다.

그런데 이 부분은, part1에서 지적한 문제점과 달리 정정하기 매우 어려운 부분이다.

이 부분을 정정하려면 가장 위 라인의 대학에서 부터 본인만의 컷을 만들며 내려와야 하고, 본인의 컷을 기준으로 하위 대학의 표본의 상위대학 합/불 여부를 판단해야하는데, 그렇게 하기 위해서는 표본을 직접 추적해야한다.

표본의 특징을 기억하고 여러 학교의 표본을 왔다 갔다하면서 해당 사람을 두 가지 표본에서 찾아야 한다는 것인데, 낙지에서는 각 표본의 각 과목 백분위만 알려주므로 이를 직접 색출해 추척한다는 것은 매우 어려운 일임에 동시에 많은 노력과 시간이 필요한 부분이기 때문이다.

특히 정원이 적어지는 상위 라인으로 갈 수록, 놓친 표본 한 두명에 따른 오차가 커져, 이 과정의 중요성이 더욱 커진다.

특히 내가 전담하는 메이저의대 라인에서는 이 문제가 초래하는 문제가 치명적일 수 있어, 나 같은 경우는 맨 윗라인 부터 내려오면서이부분을 고려해 분석을 집중적으로 하지만, 장담하건데 이렇게 심혈을 기울여 모두가 완벽한 표본 분석을 하지는 못할 것이다.

그럼에도 보다 정확한 표본 분석을 진행하고 싶은 독자들을 위해, 일반적인 방법에 어떤 맹점이 있으며, 어떻게 그 오류를 정정할 수 있을 지에 대해 다뤄보았다.

시간적 여유가 있고, 확실한 표본 분석을 원하는 학생은 이렇게 “제대로” 분석을 해보는 것도 나쁘지는 않을 것이다.

‘일반적인’ 표본 분석 방법을 구구절절 설명하는 글은 이미 너무 많아 다룰 필요가 없다고 생각해 과감하게 생략하였다.
정보로서의 가치가 낮으니까, 그리고 누구나 할 수 있다.

표본 분석을 하기로 마음 먹었다면 제대로 해서 “진짜”들의 표본 분석을 해보는 것도 나쁘지 않을 것이다.

피오르 컨설팅 대기 신청은 다음 링크에서 진행하실 수 있습니다.
관심있으신 분들은 아래 링크에서 신청해주세요!

"링크"

[BrainBox 원서영역]

0-1. 원서영역이란 무엇인가(1): 수능 성적표를 읽는 법
0-2. 원서영역이란 무엇인가(2): 정시 대학별 점수 산출 방법
1. 나에게 유리한 대학을 고르는 법: 점수 산출 방식을 고려하여
2-1. 정시 예측 플랫폼의 모든 것: 종류와 유형을 중심으로
2-2. 정시 예측 플랫폼의 모든 것: 낙지와 텔레그노시스를 중심으로

[입시에 도움이 되는 글 모음]

https://orbi.kr/00065216335 : 유인우 – [입결표] 20~23학년도 메디컬,문이과 주요대학 추정 입결표
https://orbi.kr/00065221190 : 유인우 – 24학년도 정시 주안점
https://orbi.kr/00065232324 : 군툰문 – 불수능과 표본분석
https://orbi.kr/00065580165 : 군툰문 – 어디서 펑크가 날 것인가
https://orbi.kr/00065277552 : Cogito – 표준점수, 누적백분위, 펑크, 폭발
https://orbi.kr/00065300256 : Cogito – 표본의 이동방향, 대체학과, 기피학과
https://orbi.kr/00065251112 : 정시기다리는 – 변환표준점수란 무엇인가?
https://orbi.kr/00065410392 : 종냥 – 2024학년도 메디컬계열 정시 지역인재 칼럼
https://orbi.kr/00064084053 : 종냥 – 메디컬 입시요강을 볼 때 확인할 4가지 포인트
https://orbi.kr/00065458030 : 종냥 – 모의지원에서의 허수 이야기

다음 글에서는 표본 분석을 할 때, 어떤 마음가짐과 태도가 필요한지에 대해 다뤄보며, 원서 영역을 마무리 해보겠습니다.
감사합니다