공지사항
코트라 경제논술, 직무역량 논술
인공지능(AI) 자동첨삭.평가시스템 도입안내
안녕하세요. 올해부터는 톰슨에듀AI에서 출시한 경제논술 인공지능(AI)자동첨삭.평가시스템을 활용해, 여러분이
작성한 경제논술과 직무역량 논술을 첨삭 및 평가해, 평가보고서를 제공하고자 합니다. 거시경제.경제논술 수업부터
AI자동첨삭 평가보고서를 제공하기 시작했는데, 경제논술심화와 직무역량평가 강좌에서는 버전이 업데이트된
시스템을 활용해, 여러분이 작성한 논술을 상세히 평가해주는 보고서를 제공하고자 합니다.
"논술첨삭을 어떻게 AI가 하지?"라고 생각할 수 있지만, 생각보다 효율적이고, 경제논술 시험볼때 마다 객곽적인
평가를 받을 수 있으리라 생각합니다. 시험을 치루면, 매 회마다 3~4페이지 분량의 "PDF평가보고서"를
받으실 수 있습니다. 물론 기계가 모든것을 다 대체할수 없겠지만, 여러번의 시행착오를 통해, 사람이 하는일을
상당부분 반영해 논술에 대해 피드백을 드릴 수 있어 무척 기쁘게 생각합니다. 앞으로 계속 버전 업데이트
를 진행해, 더 좋은 성과를 달성하고자 합니다.
다음에서는 AI자동첨삭 시스템에 의해 제공되는 "코트라 경제논술 AI첨삭 평가보고서"의 내용에 대해 간략히
설명드리고 자 합니다. 아래는 경제논술 AI첨삭 보고서의 주요내용입니다.
※손으로 작성한 경 제논술 답안을 제출하면, 답안에서 TEXT를 모두 추출하고 아래와 같은 방식의 보고서를 만들
어 제공하고 있습니다. 아래 평가보고서는 대한무역투자진흥공사(코트라) 경제논술 기준으로 작성된 내용입니다.
1.지원분야 경제논술, 토익 성적과 순위
-경제논술 첨삭.평가표를 받게되면, 우선적으로 지원분야(수도권/비수도권/어문계/이공계) 지원자 중 순위와 토익
순위를 확인할 수 있습니다.
2. 경제논술점수 현황, 본인점수 현황비교 (기초 통계분석)
-회차별 경제논술 점수에 대한 통계분석
-응시인원, 본인점수, 평균대비, 순위, 최고, 최저점, 평균 등 기초통계량 제공
본인점수(총점)은 어떻게 계산되냐구요?
총점은 크게 5가지 기준에 의해 가중평균해 합산된 점수입니다. 기계적으로 평가되는 방식이기 때문에, 인간에
의해 부여되는 점수보다 객곽적이라 할 수 있습니다.
1) 답안정확도: 코사인유사도
가장 중요한 것은 코사인유사도로, 모범답안과 여러분의 답안을 모두 수치/배열화해서 코사인유사도(유클리디안
거리)를 계산해, 모범답안과 유사도측면에서 얼마나 유사한지를 계산해 산정합니다. 즉, 코사인유사도는 0~1사이
의 값으로, 1이면, 모범답안과 100% 동일하다는 것을 의미합니다.
2) 답안분량: 모범답안 대비 80%기준(단어, 문장 수 기준)
적정한 답안분량은 대개 1시간기준 3~4페이지라 할 수 있는데, 사람마다 글씨 크기, 여백등이 틀립니다. 따라서,
단순히 몇페이지를 썼느냐가 중요한 것이 아니라, 몇단어, 문장등을 썼느냐가 중요합니다. 모범답안 대비 80%의
분량을 작성했다면, 답안분량은 만점을 받는 것으로 설정했습니다.
3) 논리전개력: GPT 3.5 Turbo기준
답안의 논리전개력과 일관성은 ChatGpt 3.5가 판단해 점수를 부여하고 평가를 제시할 예정입니다. gpt모델은 글쓰
기 분야에서 상당수준의 성능을 보이기 때문에, 논리전개력, 일관성 등을 판단할 수 있는 수준이라 할 수 있습니다.
4) 내용충실성, 분석적 사고력: 코사인유사도, 페이지분량, gpt평가 가중평균
내용충실성과 분석적 사고력은 자체 평가기준에 의해 코사인유사도, 페이지분량, gpt평가 등을 가중평균해서
자체적으로 도출할 예정입니다.
3. 회차별 평균대비 본인점수 트렌드(차트)
-각 회차별 본인의 점수가 평균대비 어떠한지를 나타내는 그래프
4. 분야별 강점.약점분석 차트(레이보우 차트)
-경제논술 답안의 총점의 5가지 구성요소를 10점만점 기준으로 환산해, 어떤부분에서 강점 또는 약점이 있는지
차트로 제시
5. 지원자 점수 분포대별 인원통계와 TOP7 순위
-경제논술 시험을 보게되면, 매 회차별 응시자들의 점수통계와 TOP7의 순위를 공개합니다. TOP7의 순위가 공개
되어 서로 경쟁하는 분위기 형성된다고 할 수 있습니다.
6. 수강생 지원직렬별 통계분포
- 학원수강생 기준 지원직렬에 있는 응시자의 통계(응시이원, 토익, 점수통계)를 제시해, 지원직렬 내 응시자
본인의 학업성취도 파악
-경제심화 평가지에서는 어문계의 경우, 각 언어별로 세분화 예정입니다
7. 경제논술 답안에서 사용단어 빈도(모범답안 VS 본인)
- 모범답안에서 가장 빈출되는 단어와 응시자 답안에서 빈출되는 답안을 비교해 어느정도 차이가 있는지를 체크
(모범답안 빈출단어 기준)
8. 응시자 경제논술 주요빈출단어(워드크라우드)
- 응시자 논술답안의 빈출단어를, 워드크라우드 형식으로 시각화
9. 머신러닝을 활용한 회차별 점수예측시스템
-이 부분이 AI논술첨삭의 Highlight라 할 수 있습니다. 지난7년동안 거시경제 논술강좌를 수강한 학생들의 점수
데이터를 기반으로, 머신러닝(랜덤포레스트 회귀모델)을 적용해, 각 회차별 점수를 몇점 받을 것인가를 훈련
시켰습니다.
-만약, 응시자가 1회차에서 40점을 받으면, 직렬, 토익점수, 그리고 과거7년 수강생데이터를 기반으로,
2회차~8회차까지 각 회차별로 몇점을 받게 될 것인지 예측합니다. 이를 차트로 나타내어 제공하고
있습니다. 머신러닝 예측은 회차가 거듭될 수록, 수험생의 점수데이터가 반영되기 때문에, 예측의
정확도가 높아진다고 할 수 있습니다.
-만약 1회차에서 40점 받았는데, 2회차에 대한 ai예측점수가 50점인데, 실제 50점 이상을 받았다면 평균적으로
공부를 많이 했다는 것이고, 50점보다 낮게 실제 점수를 받았다면 노력이 더 필요하다는 것을 알수 있겠죠?
-AI의 점수예측과 실제 여러분의 점수를 비교하면서, 자극도 받고, 열심히 노력해 AI의 예측범위를
상방으로 벗어난다면 더할나위 없이 좋을것 같습니다. 아래 차트와 표를 보면, 매 회차별로 머신러닝
예측치가 있고, 실제점수가 있어 비교할 수 있습니다. 아래의 사례처럼, 실제점수와 머신러닝 예측치가
거의 유사한 형태로 간다는 것을 알수 있죠?
※ 이번 머신러닝을 활용한 예측시스템은 거시경제.경제논술 데이터를 기반으로 한것입니다. 하반기 경제논술
심화에서는 축적된 데이터가 많아서, 점수예측을 넘어, 최종합격률 예측까지도 가능할 것 같습니다.
10. AI논술평가( GPT 3.5 Turbo기준)
-이 부분은 GPT3.5 API를 파인튜닝(경제논술 첨삭에 맞도록 조정) 활용해, 응시자의 논술답안에 대해 논리적
일관성 등을 평가하도록 했습니다. 2024년 경제논술 심화강좌에서는, GDP 4.0을 파인튜닝해 사용할 계획입니다.
11. 경제논술 총평(강사 총평)
-평가보고서의 마지막 페이지는, 회차별 경제논술에 대한 강사의 총평이 포함됩니다. AI가 체크하지 못한 부분을
보완해 강평을 제시하고 있어, 수험생입장에서 강평까지 읽으면 도움이 많이 됩니다.
※ 이상으로, 톰슨에듀학원에서 제공할 경제논술/직무역량 인공지능(AI) 자동첨삭.평가 시스템에
대해 설명드렸습니다. 여러분이 쓴 논술에 대해 객관적인 평가를 받을 수 있어서, 공부할때 도움이 많이 될 거라
생각합니다.
