AI 역량평가 사례, 농협정보시스템이 전사 역량진단을 한 방법

AI 교육을 마친 회사가 가장 많이 받는 질문은 "그래서 직원들이 실제로 AI를 쓸 줄 알게 됐나요?"입니다. 수료율과 만족도는 교육이 잘 진행됐는지를 보여줄 뿐, 직원이 업무에서 AI를 얼마나 쓸 수 있는지는 알려주지 않습니다. AI 역량평가는 이 빈칸을 점수와 리포트로 채우는 방법입니다.

농협정보시스템은 상반기 실무진 집체교육과 사내 해커톤을 거친 뒤, 대상을 비개발 직군을 포함한 임직원 전원으로 넓혔습니다. 온라인 AI 리터러시 강의와 AI 역량평가 APTA는 모두 조코딩AX파트너스가 직접 만들고 설계했습니다. 임직원들은 강의를 완강한 뒤 객관식·서술형·실기 평가를 치렀고 회사는 개인·팀·조직 리포트로 조직의 AI 역량 현황을 확인했습니다. 이 글에서는 농협정보시스템이 임직원 전원의 AI 역량을 어떻게 평가했는지, 그리고 다른 기업이 같은 방식을 도입할 때 무엇을 준비하면 되는지 정리합니다.

AI 역량평가가 필요한 이유: 교육 효과를 수치로 확인

AI 역량평가는 직원이 AI를 이해하고 업무에 활용하는 수준을 측정하는 평가입니다. 지식을 묻는 문항만으로는 부족하고 실제 AI 도구를 써서 과제를 해결하는 실기가 함께 들어가야 업무 역량에 가까운 결과가 나옵니다.

교육 다음에 평가가 필요한 이유는 두 가지입니다. 첫째, 교육 담당자가 경영진에게 교육 효과를 수치로 보고할 수 있습니다. 둘째, 누가 어디까지 할 수 있는지 알아야 다음 단계 교육 대상과 수준을 정할 수 있습니다. AI 역량평가의 개념과 평가 항목은 AI 역량평가 가이드에서 더 자세히 다뤘습니다.

비개발 직군까지 넓힌 농협정보시스템의 전사 역량진단

농협정보시스템은 농협 계열사의 IT 시스템을 구축·운영하는 IT 서비스 기업입니다. 올해 6월과 7월 실무진 대상 AI 개발 집체교육을 진행했고, 7월에는 37개 부서 임직원 112명이 참가한 사내 AI 해커톤을 열었습니다.

해커톤 이후 농협정보시스템이 먼저 요청한 것은 임직원 전원 대상 온라인 교육과 역량진단이었습니다. 일부 실무진의 성과를 넘어 비개발 직군까지 포함한 조직 전체의 AI 활용 수준을 확인하려는 것이었습니다. 교육 시간은 직원 업무 부담을 고려해 6시간 이내로 설계하길 원했습니다.

완강한 직원만 응시하게 한 이수 구조

교육은 조코딩AX파트너스가 자체 제작한 온라인 강의 「업무를 위한 AI 리터러시」로 진행했습니다. 본과정은 7개 파트 39차시입니다. 조동근 공동대표의 AI 트렌드 특강으로 시작해 AI 기본 개념부터 업무 활용까지 단계별로 다루고 파트마다 실습 자료를 제공했습니다. IT 기초가 필요한 직원은 보충 강의 9차시를 선택해 들을 수 있었습니다.

핵심은 순서입니다. 필수 강의를 100% 완강한 직원만 역량평가에 응시할 수 있게 했고 완강과 응시를 모두 마쳐야 이수로 인정했습니다. 교육을 듣고 끝내지 않고 들은 내용이 실제 역량으로 이어졌는지 바로 확인하는 흐름입니다.

AI 역량평가 방식: 응시자마다 다른 문항으로 치른 실기 중심 평가

평가는 조코딩AX파트너스가 설계한 AI 역량평가 APTA(AX 인재실무진단)로 진행했습니다. 구성은 세 가지입니다.

문항은 문제 은행에서 응시자마다 다르게 출제했습니다. 같은 부서 직원끼리 답을 공유해도 의미가 없도록 만든 장치입니다. 실기는 실제 컴퓨터 환경처럼 꾸민 화면에서 AI로 과제를 수행합니다. 시험 중 AI 사용 비용은 조코딩AX파트너스가 부담했습니다.

응시를 마친 농협정보시스템 직원들은 설문에 이런 후기를 남겼습니다.

"생각보다 실무 관점에서 문제가 나와서, 잘 푼 것과 별개로 재밌었다"

"실기 시험이 신선하고 좋았습니다"

우리 회사 직원들의 AI 역량, 어디까지 와 있을까요?
농협정보시스템을 포함한 기업 AI 교육·평가 사례를 사례집으로 정리했습니다.
사례집 받아보기

순위 대신 상위 N%로 보여준 리포트와 비공개 원칙

평가 결과는 개인, 팀, 조직 세 단위 리포트로 제공했습니다. 개인 리포트로는 직원 본인이 강점과 보완할 영역을 확인하고 팀·조직 리포트로는 교육 담당자와 경영진이 부서별 AI 활용 수준을 비교해 다음 교육 대상을 정합니다.

리포트 설계에는 농협정보시스템의 요청이 그대로 반영됐습니다. 응시자 순위를 "N명 중 M위"로 보여주는 대신 "상위 N%"로만 표시했습니다. 직원이 등수 부담 없이 자기 수준을 확인하는 데 집중하게 하려는 뜻이었습니다. 리포트 상단 요약 항목도 핵심 위주로 정리했습니다.

이 글에는 농협정보시스템의 평균 점수나 합격률을 싣지 않았습니다. 임직원 평가 결과는 그 회사의 내부 자료이기 때문입니다. AI 역량평가를 검토하는 담당자가 가장 먼저 걱정하는 것도 이 부분입니다. 직원 개개인의 점수와 부서별 수준이 외부로 나가지 않아야 전사 평가를 안심하고 진행할 수 있습니다.

임직원 전원을 평가해서 남는 것은 점수 하나가 아니라 조직의 출발선입니다. 같은 기준으로 모두를 측정했기 때문에 부서별로 어디가 앞서 있고 어디를 보완해야 하는지 같은 잣대로 비교할 수 있습니다. 다음 교육을 누구에게, 어떤 수준으로 할지 정하는 근거도 여기서 나옵니다.

응시 후 설문에 답한 농협정보시스템 직원들의 시험 경험 만족도는 5점 만점에 4점대였습니다.

농협정보시스템은 평가 결과를 확인한 뒤 조직의 AI 역량 현황을 파악하는 내부 자료로 활용했습니다. 이와 함께 조코딩AX파트너스와 전산 직군 대상 AX Leader 과정도 진행하고 있습니다.

AI 역량평가 자주 묻는 질문

Q1. AI 역량평가는 비개발 직군도 볼 수 있나요?

네. 농협정보시스템은 비개발 직군을 포함한 임직원 전원이 응시했습니다. 코딩 지식이 아니라 AI를 이해하고 업무에 활용하는 능력을 측정하기 때문입니다.

Q2. 교육 없이 평가만 진행할 수도 있나요?

가능합니다. 다만 교육 직후 평가를 하면 교육 효과를 수치로 확인할 수 있고 평가 결과로 다음 교육 대상을 정하기도 쉬워집니다.

Q3. 개인 점수가 공개되면 직원들이 부담스러워하지 않나요?

리포트 표시 방식을 조정할 수 있습니다. 농협정보시스템은 순위 대신 "상위 N%"로만 표시했습니다.

Q4. 평가 결과가 외부에 공개되나요?

아닙니다. 점수와 리포트는 고객사 내부 자료로만 제공합니다. 이 사례 글에도 농협정보시스템의 점수는 싣지 않았습니다.

Q5. 평가 결과는 어떤 형태로 받나요?

개인·팀·조직 세 단위 리포트로 받습니다. 교육 담당자용 결과 엑셀도 함께 제공합니다.

교육과 함께 설계하는 AI 역량평가, 우리 조직에도 도입하고 싶다면

AI 교육을 이미 했거나 준비 중이라면 교육이 끝난 뒤 무엇으로 효과를 보여줄지부터 정해 두는 것이 좋습니다. 조코딩AX파트너스는 조직 규모와 직군에 맞춰 교육과 AI 역량평가를 함께 설계해 드립니다. 어디서부터 시작할지 막막하다면 상담을 신청해 주세요.

조코딩AX파트너스 관련 서비스

• AX 사례: 대기업·공공기관·금융사 도입 성과

• 기업 AI 집체교육: 수준·목적별 맞춤 과정

• 기업 사내 해커톤: 실무 과제로 AX 인재 발굴