産 業 關 係 硏 究

第24卷 第4號, 2014. 12. pp.121~147

ⓒ 韓 國 雇 傭 勞 使 關 係 學 會

논문접수일 : 2014년 9월 22일, 심사의뢰일 : 2014년 9월 29일, 심사완료일 : 2014년 12월 4일

** (주 저 자), 한국노동사회연구소 객원연구위원(경영학 박사), 010-2337-6550, wadrgon@naver.com

** (교신저자), 한국노동연구원 전문위원(경제학 박사), 010-9318-9426, shlee@kli.re.kr

産業關係硏究 제24권 제4호

지역맞춤형 일자리창출 지원사업의 평가체계 문제점 및 개선방안  (우상범 ∙ 이상호)

지역맞춤형 일자리창출 지원사업의 평가체계
문제점 및 개선방안

- 2013년 사업 평가결과의 실증분석을 중심으로 -

우 상 범* ‧ 이 상 호**

정부의 주요 고용정책 중 하나인 지역맞춤형 일자리 창출지원 사업은 지난 몇 년간의 양적 성장에도 불구하고, 지역주체의 역량개발과 다른 정부지원 사업과의 중복성 등의 문제점이 제기되어 왔다. 본 사업의 평가체계 역시 이러한 문제점을 심화시키는 주요한 요인 중 하나로 지적되어왔지만, 이를 객관적으로 규명하고자 하는 시도는 거의 이루지지 못했다. 이런 배경 하에서 본 연구는 2013년 지역맞춤형 일자리창출 지원사업의 평가 자료에 대한 실증분석결과를 토대로 이 사업의 평가체계의 문제점과 개선방안을 제시하였다.

주요 분석 결과는 다음과 같다. 현행 평가체계 문제점은 첫째, 평가지표 구성 및 영향력 측면에서 정량 평가 지표의 비중이 약 50% 정도를 차지하고 있으며, 특히 사업성과 관련 지표가 큰 영향을 미치는 것으로 나타났다. 둘째, 정량평가 지표에 대해 구체적인 점수 부여 기준이 마련되어 있으나, 사업유형 및 평가자 개인의 성향에 따라 실제로 부여된 점수는 큰 편차를 보였다. 셋째, 시도 내 사업보다 시도 간 사업, 신규 사업보다 계속사업이 목표대비 달성률이 높은 것으로 나타났다.

본 연구는 분석결과를 토대로 목표 지향적 평가체계 재구성, 평가지표의 객관성과 공정성 향상, 사업유형에 맞는 평가항목 개발 및 평가 차등화, 목표치 가이드라인 제시, 평가지표 간 배점 체계화 등의 개선방안을 도출하였다.

▶ 주제어: 지역맞춤형 일자리창출 지원사업, 평가체계, 평가지표

Ⅰ. 문제 제기

정부의 주요 고용정책 중 하나인 ‘지역맞춤형 일자리창출 지원사업’은 지역의 고용문제를 해결하고 지역에 맞는 일자리를 추진하기 위해 지자체와 지역의 비영리단체가 컨소시엄 형태로 구성하여 수행하는 대표적인 지역 주도형 정부지원 정책사업이다. 본 사업은 지역의 특성에 맞는 독창적인 일자리사업 아이템을 발굴하는 한편, 지역 주체 간 고용네트워크 구축을 강화함으로써 지역고용과 관련된 이해당사자들의 파트너십과 정책능력을 제고할 수 있는 인프라를 구축하는 데 크게 기여했다. 2006년 최초 시작 당시 40억 원 정도에 불과했던 사업규모가 2014년 현재 800억 원 수준으로 20배 정도의 양적 성장을 이루었다.

그러나 본 사업의 급속한 양적 성장과 더불어 문제점 역시 적지 않게 드러나고 있다. 사업 운영 구조는 정형화된 반면, 지역 주체의 정책역량 및 사업개발 능력이 미흡하여 지역의 특성에 맞는 사업 아이템 발굴이 점점 더 어려워지고 있다. 이에 많은 사업들이 지역 수요와는 별개로 무분별하게 특정 분야의 사업으로 그 형식과 내용이 편중되면서 다른 정부지원 일자리사업 및 훈련사업과의 유사하거나 중복성 문제가 제기되고 있다. 또한 사업규모가 커지면서 최초에 설계되었던 사업의 운영방식(사업선정-사업집행-사업평가)에 있어 사업효율성 및 효과성 측면이 약화되어 보다 체계화될 필요가 있다는 지적이 제기되었다(전명숙 · 임상훈, 2014; 주무현, 2014a, 2014b).

고용부에서 실시하고 있는 지역산업맞춤형 인적자원개발 사업과의 사업내용 조정 거버넌스 통합 문제가 진행되고 있다. 이에 고용부는 지역산업맞춤형 인력양성을 위해 효과적인 거버넌스 구축과 기타 직업능력개발사업과의 연계를 통한 시너지 효과에 대해 논의를 진행하고 있다.

그러나 이러한 문제를 발생시키고 있는 원인을 분석하고 이를 극복하기 위해 가장 시급한 과제로 지적되고 있는 것이 바로 평가체계 개선이라는 점에 주목할 필요가 있다. 기존 평가체계 문제점은 첫째, 기존의 평가체계의 전체적인 구성이 지역고용정책이 지향해야 할 체계적인 패러다임을 충분히 담지 못하고 있다. 둘째, 지역별로 서로 상이한 노동시장 특성에 대한 파악과 이러한 지역 특성에 부합하는 사업계획의 수립 및 집행이 미흡하다. 셋째, 객관적이고 공정한 평가가 이루어지기 위해서 평가척도가 갖추어야 할 기본적인 요건들이 충분히 갖추어져 있지 못하고 있다. 결국, 이런 문제점들은 타 사업들과 구별되지 못한 채 일자리사업의 동형화(isomorphism), 효율성 및 효과성 저하를 발생시키는 원인이 되고 있다.

그럼에도 불구하고 지금까지의 문제점들은 대체로 사업 관련자나 평가자들에 의해 현장의견을 취합한 것이 대부분을 차지했다. 따라서 객관적 자료를 이용하여 평가체계의 문제점을 분석한 연구는 찾아보기 어렵다. 이러한 배경 하에서 본 연구는 2013년 지역맞춤형 일자리창출 지원사업 결과에 대한 실증분석을 통해 일자리사업의 평가지표 및 평가방법의 문제점을 체계적으로 분석하고 평가체계의 개선방안을 제시하고자 한다.

본 논문은 크게 5개 장으로 구성되어 있다. 제Ⅱ장은 지난 10여 년간 추진된 일자리사업에 대한 현황을 분석하였다. 제Ⅲ장은 정부 사업에 대한 평가 접근방법과 일자리사업 평가에 대한 다양한 국 · 내외 문헌을 검토하였다. 제Ⅳ장은 지난 2013년 지역맞춤형 일자리창출 지원사업 평가결과를 실증분석하여 평가영역 및 지표의 구성요인과 평가점수 영향요인들에 대해 분석하고 문제점을 살펴보았다. 제Ⅴ장은 결론 부분으로 실증결과를 바탕으로 개선방안을 제시하였다.

Ⅱ. 지역맞춤형 일자리 창출 지원사업의 현황

2014년 현재 고용노동부에서 주관하고 있는 지역맞춤형 일자리창출 지원사업(이하 일자리사업)은 크게 두 가지 공모방식으로 이루어지고 있다. 시도 간 경쟁사업은 광역자치단체가 고용 관련 비영리 법인 또는 단체들과 컨소시엄을 구성하여 사업을 발굴 및 제안하면 고용노동부에서 종합적으로 심사하여 지원 사업을 선정하여 시행한다. 반면 시도 내 경쟁사업은 광역자치단체 소속 기초자치단체가 고용 관련 비영리 법인 또는 단체와 컨소시엄을 구성하여 사업을 발굴 및 제안하면 광역자치단체 단위로 종합적 심사를 통해 사업을 선정한다. 일자리사업 참여대상은 광역(기초)자치단체, 지역 내 노사단체, 연구기관, 대학교, 비영리법인(단체)이 대부분을 차지한다. 따라서 일자리사업은 자치단체와 지역 내 고용관련 비영리 법인 및 단체가 컨소시움으로 참여하여 지역특성에 적합한 일자리사업을 제안하면 고용노동부에서 선정하고 지원하는 지방분권형 공모사업이라 할 수 있다(고용노동부, 2013)

2011-2014년 최근 4년간 시도 내 사업과 시도 간 사업을 볼 때 시도 내 사업이 시도 간 사업에 비해 약 3배 정도 많고 지자체 관심이 높다.

각 시도가 시도 간 사업보다 시도 내 사업에 더 많은 관심을 보이는 이유는 첫째  지자체가 부담해야 할 대응자금이 시도 간 사업에 비해 시도 내 사업이 적다. 예를 들면 시도 내 사업의 경우 전년도 사업에서 대상과 최우수 사업을 받은 사업은 지자체 부담비율이 면제되고 우수 사업의 경우에는 50% 면제 된다. 둘째 시도 간 사업의 경우 고용노동부 사업선정심사위원회가 직접 심사하는 반면 시도 내 사업은 지방노동청이 심사할 뿐만 아니라 지원하는 사업기관이 적어 경쟁률이 낮다. 예컨대 시도 내 사업을 지원하는 기관이 없어 추가 공모를 통해 모집하는 경우도 있다. 따라서 자립도가 낮은 기초단체는 중앙정부의 재정을 활용하여 지역 일자리를 높이고 경제를 활성화하는데 시도 내 사업은 효과적인 정책 수단이 된다.

<표 2> 시도 내 및 시도 간 지자체 자금 부담 비율

재정자립도	시도 내			시도 간
	40% 미만	40% 이상~ 50% 미만	50% 이상	50% 미만	50% 이상~ 70% 미만	70% 이상
부담비율	10%	20%	30%	20%	30%	40%

<표 1> 2011-2014년 시도 내 사업과 시도간 사업 수

(단위 : 개, %)

2011			2012			2013			2014
합계	시도 내	시도 간	합계	시도 내	시도 간	합계	시도 내	시도 간	합계	시도 내	시도 간
195 (100.0)	141 (72.3)	54 (27.7)	256 (100.0)	189 (73.8)	67 (26.2)	456 (100.0)	316 (69.2)	140 (30.8)	538 (100.0)	385 (71.5)	153 (28.5)
주 : 2010년까지는 지역내/지역간 사업으로 구분하여 이루어지다가 2011년부터 시도내/시도간 경쟁방식으로 변경. 자료 : 고용노동부 내부자료를 바탕으로 작성.

일자리사업은 ‘포럼사업’, ‘특화사업’, ‘연구사업’, ‘패키지사업’ 등 크게 4가지로 사업유형으로 구성되어 있다. 첫째 포럼사업은 지역 내 고용 관련 인적 네트워크 구축 등을 통하여 지역의 고용이슈를 발굴․공론화시키고 지역고용에 대하여 지역 주민의 인식과 관심을 제고시키기 위한 사업이다. 둘째 연구 사업은 지역차원의 고용문제에 대한 실태분석 및 대안 제시 등을 추진하는 사업으로 사업 주제는 지역의 필요성을 감안하여 관할 고용노동(지)청과 자치단체가 사전 협의를 거쳐 선정한다. 셋째 특화사업은 지역차원의 고용문제 해결을 위해 지역주민의 일자리창출, 고용촉진, 직업능력개발 등을 추구하는 사업이다. 마지막으로 패키지사업은 포럼사업, 특화사업, 연구사업 중 2개 이상이 결합된 사업으로 규정상 특화사업은 반드시 포함시켜 수행해야 한다. 위에서 언급한 4가지 일자리사업 중 특화사업과 패키지사업은 취업준비생, 경력단절 여성, 실업자 등을 교육 · 훈련시켜 취업을 알선하는 것이 주요 목표가 된다. 따라서 훈련생 모집할 때 취약계층, 여성, 해당 지역 주민 등 미취업자를 대상으로 훈련시키는 것이 중요하다.

<표 3>은 2006-2014년 동안 이루어진 포럼, 연구, 패키지, 특화사업 수를 나타낸다. 표에서 보는 것처럼 2010년 이전까지는 전체 사업 수가 100여 개 정도에 불과했다. 그러나 2011년 들어오면서 고용창출에 대한 관심이 높아지면서 증가하다가 박근혜 정부 들어와서 고용률 70% 달성을 위한 정부 주요 정책이 되었다. 또한 다른 사업보다 특화사업이 높은 비율을 차지하는 것을 볼 때 일자리사업이 훈련을 기반으로 하는 특화 사업 위주로 일자리사업이 진행되고 있음을 알 수 있다.

<표 3> 2012-2014년 포럼, 연구, 패키지, 특화 사업 수

(단위 : 개수, %)

	2006년	2007년	2008년	2009년	2010년	2011년	2012년	2013년	2014년
포럼	13 (12.4)	8 (6.1)	10 (6.8)	7 (6.8)	13 (13.1)	16 (8.9)	15 (5.7)	16 (3.8)	17 (3.2)
연구	37 (35.2)	25 (18.9)	24 (16.3)	8 (7.8)	10 (10.1)	3 (1.7)	8 (3.0)	41 (9.7)	23 (4.4)
패키지	6 (5.7)	20 (15.2)	22 (15.0)	24 (23.3)	29 (29.3)	25 (13.9)	12 (4.6)	8 (1.9)	16 (3.0)
특화	49 (46.7)	79 (59.8)	91 (61.9)	64 (62.1)	47 (47.5)	136 (75.6)	225 (86.5)	355 (84.5)	466 (89.2)
합계	105 (100.0)	132 (100.0)	147 (100.0)	103 (100.6)	99 (100.6)	180 (100.6)	260 (100.0)	420 (100.0)	522 (100.0)
자료 : 고용노동부 내부자료를 바탕으로 작성.

<표 4> 2006-2014년 일자리사업 기관 수 및 지원 금액

(단위 : 개, 백만 원)

	2006		2007		2008		2009		2010		2011		2012		2013		2014
	개수	금액	개수	금액	개수	금액	개수	금액	개수	금액	개수	금액	개수	금액	개수	금액	개수	금액
서울	9	663	15	1,075	28	1,233	18	1,923	15	1,447	23	2521	30	2843	56	3993	73	5305
부산	11	490	18	1,313	14	1,215	8	1,755	9	2,648	15	3279	19	2976	23	4004	26	4892
대구	19	912	23	1,931	30	2,100	19	1,870	12	2,616	13	2743	18	2255	31	4233	40	6757
인천	7	259	5	203	7	355	3	395	5	941	12	1541	23	2166	34	3740	38	5120
광주	6	331	15	940	12	694	10	690	4	617	10	1824	15	2354	26	3057	26	4982
대전	11	770	13	1,193	13	644	5	893	5	1065	5	918	7	930	15	1929	17	2014
세종															4	133	4	425
울산	2	88	1	40	2	81	1	44	1	33	5	974	9	899	13	1363	10	896
강원	2	107	3	189	5	272	2	95	2	336	8	1051	16	1215	29	2934	33	3340
경기	12	605	17	917	19	828	11	895	16	1971	22	2706	32	3065	55	5647	72	9104
경남	7	306	4	347	10	454	5	448	5	410	5	579	15	1523	29	3321	31	4181
경북	-	-	-	-	5	308	8	423	5	457	14	2423	23	2784	36	4517	49	7783
전남	4	146	8	425	14	503	5	998	9	1690	14	3578	23	3306	32	4908	36	7292
전북	5	232	4	345	9	592	6	425	5	667	7	1368	16	2035	25	3331	24	4471
충남	4	218	2	150	6	354	5	460	6	908	10	1506	16	1466	22	2029	31	3506
충북	5	273	4	143	11	426	5	460	5	473	8	728	13	1090	22	2645	22	2920
제주	1	6	2	90	2	81	1	50	0	0	3	297	1	20	4	308	6	649
계	95	4,909	134	9,301	187	10,140	112	11,824	104	16,279	174	28,036	276	30,927	456	52,092	538	73,637
주 : 세종시는 2012년부터 추가되어 시행. 자료 : 2006-2010년는 임상훈 · 박용철(2011)자료, 2011년 이후는 고용노동부 내부자료를 활용하여 작성.

사업기관 수와 정부 지원 금액을 살펴보면 사업 초창기인 2006년에는 95개 사업기관에 49억 원으로 시작되었다. 사업기관 수와 지원 금액이 급격히 증가한 것은 2011년 이후인데, 당시 이명박 정부가 일자리창출을 통한 실업률 감소와 경제 활성화를 주된 목표로 설정한 것과 연관된다. 가장 두드러진 사업규모 증가폭을 보인 시기는 2013년 박근혜 정부이다. 박근혜 정부의 최우선 국정과제인 고용률 70%를 달성하기 위한 주요 정책수단 중 하나로 지역 차원의 일자리사업을 적극 추진하고 있다. 따라서 2013년에 일자리사업 참여기관 수 및 지원 금액이 모두 큰 폭으로 증가하였다. 예컨대 2012년 대비 사업기관 수는 65.2%포인트, 지원 금액은 63.5%포인트 증가했다. 2014년 현재 지역맞춤형 일자리사업에 참여하는 기관은 533개이고 지원 금액은 736억 원이다. 지자체 대응자금까지 포함한다면 800억 원이 넘는다.

Ⅲ. 일자리사업 평가에 관한 선행연구

1. 정부사업평가 관련 접근법

사업평가는 사업의 지속성에 큰 영향을 미치기 때문에 중요한 과정이다. OECD(1994)는 성과평가가 정부사업을 효율적이고 효과적으로 추진하도록 해주며 기존 사업방법을 개선하거나 새로운 정책 및 사업을 입안, 설계할 수 있게 해주는 수단으로 보고 있다. Whole and Harty(1992)도 성과평가는 예산과 자원의 활용을 통해 일자리 질과 결과를 향상을 달성시키는 것으로 주장했다. 미국 GAO(2003)는 특정사업 및 정책의 성과와 기관운영에 대하여 독립적․ 객관적․체계적으로 검토, 분석, 평가하는 것으로 명시하고 있다(감사원, 2005).

사업평가 접근방식에는 목표관리제와 성과관리제가 있다. 먼저 목표관리제(MBO: Management By Objectives)는 개인, 팀, 조직이 결정된 일련의 목표를 얼마만큼 달성했는지를 평가한다. 목표관리제를 처음으로 주장한 Drucker(1954)는 조직 전체의 목표달성을 위해 각각의 직무를 지휘하는 과정으로 목표관리제를 정의했다. McConkey(1983)는 결과에 대한 관리와 Mali(1986)는 바람직한 생산성 수준의 계량화와 측정가능한 생산성 목표 규명으로 정의하기도 했다. 따라서 목표관리제는 조직 혹은 기관이 공식적으로 명시한 목표 결과를 달성하기 위해 상호 협력하고 피드백을 통해 설정 목표를 달성하기 때문에 생산성 향상을 가져온다. 예를 들면 Rodgers and Hunter(1991)는 목표관리제를 수행한 70개 기업에 대한 조사에서 68개 기업이 생산성 향상을 보인 것으로 분석했다. Robbins et al.(2011)는 잘 설정된 목표는 행동보다 결과, 측정가능하고 정량적 내용, 도전적이지만 달성가능성이 포함되어야 한다고 제안한다.

우리나라 정부는 1998년 6월 목표관리제 도입을 확정하고 행정자치부와 광주광역시 등 21개 지방자치단체의 시범실시를 통해 1999년 범정부적 성과평가에 활용되고 있다. 정부가 성과평가에 목표관리제를 도입하면서 개인, 팀, 조직 목표 설정을 명확히 하고 성과결과에 따라 보상체제를 반영하고 있다. 미국의 경우에는 1970년대 연방정부와 일부 시에서 도입하여 실행하고 있고 새로운 정책개발, 비용절감, 생산성 증가 등에서 효과를 보았다(문화재청, 2005).

둘째, 성과관리제는 재정사업의 성과목표와 성과지표를 설정하고 성과지표에 기반을 한 평가결과를 재정운용(예산)에 반영하는 제도이다. 특정 재정사업을 통해 달성하고자 하는 전략목표와 성과목표를 설정하고, 성과목표의 달성여부를 측정할 수 있는 계량화된 성과지표 개발하며, 결과를 성과지표와 비교 평가하여 다음 재정운영에 환류시킨다(한국노동연구원, 2004). 일반적으로 성과관리는 개인의 성과와 조직의 성과를 상호 약속된 정량적 및 정성적 지표를 통하여 체계적으로 측정하고 평가함으로써 조직의 활동 및 자원을 효율적, 효과적으로 운용한다(이세구, 2003).

우리나라는 정부사업에 대해 정부업무평가기본법(이하 평가기본법)으로 성과관리제를 시행하고 있다. 이 법은 중앙행정기관 · 지방자치단체 · 공공기관 등의 통합적인 성과관리체제의 구축과 자율적인 평가역량의 강화를 통하여 국정운영의 능률성 · 효과성 및 책임성을 향상시키는 것을 목적으로 한다. 또한 평가기본법의 평가는 일정한 기관 · 법인 또는 단체가 수행하는 정책 · 사업 · 업무 등에 관하여 그 계획의 수립과 집행과정 및 결과 등을 점검 · 분석 · 평가한다. 정부가 추진하는 사업 성과관리는 성과계획, 성과측정, 성과평가, 평가결과 등 크게 4단계로 이루어진다(최홍근 외, 2012). 첫째, 성과계획은 기간의 임무-전략목표-성과목표를 체계적으로 연계시켜 달성하고자 하는 미래의 활동계획을 수립한다. 둘째, 성과측정은 고객이나 이해당사자들이 사전에 성과지표와 목표치가 설정된 사업 또는 활동이 투입, 과정, 산출, 결과를 측정한다. 셋째, 성과평가는 성과측정의 효과를 제고해 주는 것으로서 체계적인 성과평가를 통하여 정책결정과 정책집행과정의 투명성을 보장하고 집행결과에 대한 책임성을 확보한다. 마지막으로 평가결과는 성과평가 결과를 다음 성과계획, 활동, 업무에 환류하고 반영한다.

해외에 많은 국가들은 정부사업에 대해 목표관리제와 성과관리제를 기반으로 사업평가를 한다(Kettle, 2000). 정부지원사업의 경우 세금과 다른 공공 자원을 활용하여 수행되기 때문에 모니터링과 평가를 함으로써 프로그램 질과 성과를 향상시킬 필요 있다(Wholey & Hatry, 1992). 미국의 정부사업평가 정책은 1993년에 통과된 정부성과평가법(GPRA: The Government Performance and Result Act, 1993)에 근거한다(최정수, 2004). 이 법은 연방정부의 비효율성과 낭비적 요소들에 대한 신뢰성을 회복하기 위해 제정된 법으로 목표관리모형(goal model)을 중심으로 하고 있다(Kravchuk & Schack, 2014; 이창기, 2005). 최근에 투입-과정-산출-환류 등 성과관리를 포함시킨 자연체계모형(natural systems model)에 대한 관심이 높아지고 있다(Brown, 2007; 최홍근 외, 2012).

캐나다의 정부사업에 대한 평가정책은 1969년도 관리예산제도 수행지침(PPB Guide)을 제정함으로써 시작되었다. 1981년 제정된 사업평가 기능에 관한 지침(Guide on the Program Evaluation Function) 규정에서 제시한 사업평가 정책의 핵심 내용은 정당성(rationale), 영향과 효과(impacts and effects), 목적달성 정도(objectives achievement), 대안(alternatives) 등이다(최홍근 외, 2012). 캐나다의 성과평가 정책의 특성은 효과성보다는 능률성에 초점을 둔다는 점이다. 이를 위해 캐나다 재정위원회 사무처는 10가지 관리책무기본 틀, 즉 국정운영과 전략적 방향, 공공서비스 가치, 결과와 성과, 학습 · 혁신 및 변화관리, 정책과 사업, 사람, 시민중심의 서비스, 위험관리, 청지기 역할, 책무성 등을 제시하고 있다(제갈돈 외, 2006).

일본은 2001년 정책 평가에 관한 표준적 가이드라인에 근거하여 평가체계를 구축하였다. 일본의 평가체계는 사업평가, 시책평가, 정책평가로 이루어졌으며 계획-집행-사후관리를 하나의 프로세스로 진행한다(김주환, 2009). 일본의 평가관점은 필요성, 효율성, 유효성, 공평성, 우선성에 있다(제갈돈 외, 2006). 특히 효율성은 투입되는 자원량에 부합되는 결과가 얻어질 수 있는가, 필요한 자원으로 효과를 볼 수 있는가 등을 평가하고 유효성은 목표대비 기대되는 결과가 얻어질 수 있는가를 평가한다.

정부지원 사업에 대한 평가는 목표설정을 통해 꾸준히 성과관리를 추진해야 한다. 이는 정부가 지속적으로 개입함으로써 사업성과를 내는 것이 더 효과적으로 인식하기 때문이다. 이런 현상은 국내․외 공통적으로 나타나고 있다.

본 연구에서 살펴보려는 지역맞춤형 일자리창출 지원사업의 경우에도 목표관리제와 성과관리제를 통해 관리되고 있다. 사업주체가 자율적으로 사업목적을 설정하고 이에 근거하여 구체적인 실행목표를 수립한다. 또한 사업주체의 실행목표가 합리적으로 설정되었으며, 그 목표를 얼마나 달성하였는가에 초점을 두고 평가한다. 예를 들면 사업 수행기관이 사업계획서에서 제시했던 수료율, 취업률 등에 따라 목표대비 교육생 수료율과 취업률 등을 평가한다. 또한 사업기관들이 목표를 달성하는지를 파악하기 위해 지속적으로 점검, 현장방문, 자문, 예산집행 등 지도관리 및 피드백을 제공한다. 따라서 현재 추진하고 있는 지역맞춤형 일자리창출 지원사업은 두 접근법을 적절히 활용하고 있는 것으로 보인다.

2. 일자리사업 평가에 대한 선행연구

전 세계적으로 고용상황이 어려워지자 각 국은 직/간접적인 일자리사업에 집중하면서 일자리사업의 효과성 및 타당성 평가를 강화하고 있다. 호주산업위원회는 정부 지원사업에 대해 투입예산 대비 산출과 성과가 경제적으로 얼마나 효과를 보이고 있는지에 대해 평가한다(임성일, 2009). 영국정부는 동일한 산출물을 생산하면서 투입을 줄이거나, 가격을 감소시켰거나, 동일한 투입을 사용하면서 전보다 생산을 늘리거나 자원 투입을 할 때 품질이 증가했는지에 대해 평가한다(HM Government, 2005; 임성일, 2008). OECD(2009)는 일자리사업 성과지표를 크게 투입지표, 과정지표, 산출지표, 결과지표 등으로 구분하여 평가한다(한국고용정보원, 2013). 먼저, 투입지표는 사업추진에 투입된 재원과 인력, 기타의 자원으로 예산집행과 사업진행 과정상의 문제점을 발견하는데 이용한다. 둘째, 과정지표는 사업진행 과정에서 나타나는 산출물의 양을 나타내는 지표로서 사업진도 등 사업추진정도를 중간 점검하는 데 활용하고 있다. 셋째, 산출지표는 사업완료 후 나타나는 1차적 산출물을 나타내는 지표이고 재정사업의 성과 혹은 사업의 효과성을 판단하는 근거로 활용된다. 마지막으로 결과지표는 사업의 궁극적인 성과를 보여주는 지표로서 사업을 통해서 나타난 사회적 경제적 환경적 변화를 측정한다. 일자리사업의 중요한 평가영역인 재정 효율성 평가를 보면 전반적 효율성(overall efficiency), 비용 효과성(cost effectiveness), 제도적 효율성(system efficiency) 등을 측정한다.

우리나라의 일자리사업에 대한 평가 또한 활발하게 이루어지고 있다. 국회예산정책처(2006)는 일자리지원 사업 평가기준에 대해 사업의 타당성-합리성-적절성으로 구분하고 평가방법은 정량과 정성 방법을 혼용하여 평가하는 것이 바람직하다고 제안한다. 홍성우 · 임상훈(2010)은 지역고용 · 인적자원개발 사업을 평가하고 발전과정을 제시하면서 일자리사업은 기획-집행-성과 단계로 평가해야 함을 강조한다. 라휘문(2012)는 경기도의 일자리사업을 통해 평가모형 부재를 비판하며 일자리사업의 평가는 정성과 정량적 평가가 적절히 결합되어야 함을 주장한다. 전명숙 · 임상훈(2014)은 일자리사업의 평가지표의 경우 첫째, 지역 특성을 반영하여 평가지표를 개발하고, 둘째, 현재의 단계적 접근방식을 폐기하고 지역유형별로 정책역량 개발(capacity building), 책무성(accountability), 파트너십(partnership), 사회통합(inclusion)으로 구분하여 이를 반영할 수 있는 새로운 평가지표를 만들어야 한다고 제안한다. 김종한 외(2014)는 일자리공시제를 통한 평가체제 문제점을 제시했다. 이들에 따르면 현재 일자리 평가체계는 지나치게 보고 형식에 치우쳐 있고 각 지역의 고용초기 환경을 거의 고려하지 못한 채점수화 방식에 치중하고 있기 때문에 지역 특성에 맞는 평가지표 마련이 시급하다고 지적한다. 한국고용정보원(2013)은 고용부, 복지부, 산림청, 안행부, 환경부 등 5개 부처 시행 11개 일자리사업에 대한 평가를 재정효율성(정략적), 고용효과성(정량적), 전달체계(정량적, 정성적), 만족도 조사(정성적)로 평가하였다. 이 중 고용효과성의 취업률과 고용유지율이 가장 중요한 평가 결정요인으로 나타났다. 주무현(2014a)은 고용성과 중심의 평가지표를 개편해야 함을 제시한다. 그는 사업수혜자 및 중앙/지방 이해당사자 대상 만족도 조사 실시, 정량지표 비중 강화, 특히 고용성과 지표 강화, 교차 평가 실시, 현장방문 횟수 및 내용 강화 등을 대안으로 제안했다. 전명숙(2014)은 현재 일자리사업의 평가체계의 문제점을 보여주면서 개선점을 제시했다. 그에 따르면 먼저 정량지표는 지자체 대응자금 초과율(사업기획), 예산집행률, 목표대비 실제훈련인원(사업집행), 훈련수료율, 취업률, 훈련 1인당 예산집행액(사업성과)으로 구분하여 객관성 향상 및 중복성 제거하는 방향을 개편하고, 정성지표는 사회통합, 역량개발, 파트너십 관련 항목 요소가 기획-집행-성과 부분에서 구분되어 측정되도록 구성되어야 한다고 주장한다.

일자리사업 평가에 대한 문헌 검토 결과, 대부분의 사업평가는 사업기관에 대한 평가나 참여기관 혹은 교육생을 대상으로 한 만족도 조사 등 단순 실태분석에 그치고 있다. 사업성과에 영향을 미친 요인 분석이나 평가에 관한 문제점을 제시한 실증연구는 거의 없는 상태이다. 특히 지역맞춤형 일자리창출 지원사업이 시행된 지 10년이 지났음에도 불구하고 사업의 객관적 평가를 위한 실증분석이 이루어지지 않았다. 따라서 평가체계가 규범화 된 현 시점에서 일자리사업 성과에 대한 실증연구를 통해 학자들로 하여금 지속적인 문제점으로 지적되고 있는 평가지표와 평가방법을 개선할 필요가 있다. 따라서 이후 논의에서는 2013년 지역맞춤형 일자리창출 지원사업 결과를 실증분석하여 평가 문제점을 도출하고 향후 바람직한 개선방안을 제시하였다.

Ⅳ. 2013년 평가 결과에 대한 실증분석

1. 평가 영역 및 지표의 구성

2013년 평가대상 사업은 연구사업을 제외한 377개 사업 상대평가로 실시되었다(표 5 참조). 평가등급은 A부터 F까지 총 5개 단계로 구성되며 각 등급별 배분비율을 고정시킨 상대평가 방식으로 이루어졌다(A: 15%, B: 20%, C: 50%, D 10%, F: 5%). 이때 특화사업 중 시도 간 경쟁사업(포럼 및 특화/패키지)은 중앙평가단에서 일괄적으로 실시되었으며, 시도 내 경쟁사업은 권역별로 사업간 비교평가 방식으로 이루어졌다. 시도 간 경쟁사업의 경우 상대적으로 예산규모가 클 뿐만 아니라 지역전략산업과 연계된 전문인력양성 사업이 많기 때문에 시도 내 사업과 평가단위를 분리하는 것이 필요했다. 시도 내 사업은 지역 간 산업 및 고용구조의 특수성을 고려하여 광역권을 기준으로 평가단위로 분리하는 한편, 지역고용사업의 평가 권한 일부를 지역 주체들에게 부여해야 한다는 점이 고려되었다. 또한 <표 5>에 제시되어 있지 않지만, 특화/패키지 사업의 경우 계속사업과 신규 사업 간의 차이도 주목할 필요가 있다. 전년도 사업 평가결과 B 이상의 등급이면서 취업률이 20% 이상인 사업의 경우 계속사업으로 선정되기 때문에, 전체적인 사업운영의 건실성과 평가체계에 대한 이해도, 그리고 실제 사업성과 측면에서 더 높은 평가점수를 받게 될 가능성이 크다.

2014년에는 S(15%), A(20%), B(50%), C(10%), D(5%)로 평가등급이 변경되었다.

<표 5> 2013년 전체 사업 평가결과

구분		등급	A	B	C	D	F
		비율	15%	20%	50%	10%	5%
2013년 사업전체		377	56	76	189	37	19
시도 간	포럼	16	2	3	8	2	1
	특화/패키지	73	11	15	36	7	4
시도 내 (권역별)	전체	288	43	58	145	28	14
	서울/강원	68	10	14	34	7	3
	인천/경기	61	9	12	31	6	3
	부산/울산/경남	34	5	7	17	3	2
	대구/경북	42	6	9	21	4	2
	광주/전남/전북/제주	45	7	9	23	4	2
	대전/세종/충남/충북	38	6	7	19	4	2

평가지표의 구성은 <표 6>과 같다. 평가지표는 대분류-중분류-소분류 기준으로 다시 세분화되는데, 대분류 단계는 크게 사업기획, 사업집행, 그리고 사업성과로 구분된다. 포럼 및 특화 사업은 사업기획 20점, 사업집행 30점, 사업성과 50점이 할당되며, 패키지사업은 사업기획 15점, 사업집행 10점, 사업성과 25점으로 구성된다. 각 분야별로 다시 11개의 중분류 지표들이 구성되며, 소분류 단계에서는 중분류 평가지표에 대응되는 세부 측정기준들이 구체적으로 제시된다.

평가지침서(고용노동부, 2013)에 제시된 세부평가 척도를 살펴보면, 몇 가지 특징적인 점을 발견할 수 있다. 우선 정량지표와 정성지표가 명시적으로 구분되어 있지는 않지만, 정량요소에 대한 항목과 배점이 구체적으로 적시되어 실제로는 두 지표의 측정이 구분되도록 하였다. 특화사업의 예를 살펴보면, <사업기획> 부문에서는 사업기관 정관의 고유목적사업에 지역 일자리창출 관련 내용이 포함되어 있는지 여부, 유사사업 추진실적 등이 포함되었다. <사업집행> 부문에서는 예산집행 비율 및 지자체 담당자의 회의 참석횟수 및 지원 여부 등이 점수화되었다. <사업성과> 부문은 정량적 요소가 가장 많이 포함되어 있는데 훈련인원, 수료인원, 취업인원, 훈련수료율과 취업률 각각에 대한 목표달성도가 점수화되었다. 또한 고용의 질적 지표로 고용보험가입 기준 취업률 등도 포함되었다. 흥미로운 점은 사업성과 부문의 지표가 절대적 성과치가 아닌 목표달성률을 기준으로 계산된다는 점이다. 또한 사업기관 정관의 고유목적성 적시 여부, 지자체 담당자 참여 정도, 사후관리 프로그램 여부 등의 양적 지표들의 경우에도 정성적 요소가 상당한 정도로 가미되었다. 즉 예산집행률(3점)을 제외하면 순수한 정량지표 대부분은 사업성과 부문에 집중되어 있으며, 훈련/수료/취업 목표

<표 6> 특화사업 평가지표의 구성

분야	평가지표	평가지표 측정기준	배점	양적 요소
1. 사업기획 (20)	정부 재정 지출 타당성	- 사업의 합목적성	5
		- 사업기관 고유 사업과 연관성	5	- 사업기관 정관의 고유목적사업에 지역일자리창출 관련내용 · 기재=2점, 미기재1점 - 유사사업 추진실적(최근 3년 이내) · 실적없음 0점, 1-2건 1점, 3-4건 2점, 5건 이상 (3점)
	사업기획의 독창성, 구체성	- 지역(내·외) 사업의 차별성	5
		- 추진계획의 구체성·종합성	5
2. 사업집행 (30)	계획의 일관성	- 계획대비 추진일관성	5
	예산집행 실적 및 사업추진과정 문제해결	- 예산집행 비율 - 사업추진 중 발생한 문제점 해결 정도	5	- 예산집행 비율(3) · 집행비율이 평균초과(3점) · 집행비율이 평균(2점) · 집행비율이 평균미만(1점)
	지자체 사업참여도	- 지자체의 사업참여 노력 정도	5	- 지자체 담당자의 관련 회의 참석 및 지원 여부 (4개 항목) · 4개:5점, 3개:4점, 2개:3점, 1개:2점, 해당없음: 1점
	프로그램 수행과정에 대한 실적	- 프로그램 수행과정에 관한 기록 유무, 전문인력, 자원동원 등의 수행과정 실적정도	10
	자체평가	- 자체평가보고서의 충실성 정도	5
3. 사업성과 (50)	사업목표 구체적 성과지표의 충족성	- 구체적 성과지표 대비 충족도 - 미흡 시 설명의 설득력	15	- 계획획인원 대비 목표달성(3개 항목 각각 5점) : 훈련인원 / 수료인원 / 취업인원 · 90-100% 5점, 75-90미만:4점, 60-75%미만: 3점, 45-60%미만:2점, 45미만:1점
	사업목표 달성의 합리성	- 사업목표와 성과간 일관성 정도 - 사업수행 기관 역량 대비 사업 성과 완성도 - 사업계획서 상의 목표에 대한 달성도	15	- 사업계획서 상의 목표에 대한 달성도 (훈련수료율, 취업률) · 90-100% 5점, 75-90미만:4점, 60-75%미만: 3점, 45-60%미만:2점, 45미만:1점
	프로그램 사후관리시스템	- 프로그램 사후관리 시스템 구축유·무	5	- 사후관리 시스템 존재 = 2, 미존재=1
	지역 일자리창출 및 직업능력개발 기여도	- 일자리 창출 직접적 기여도 - 직업능력개발 등 간접적 기여도	15	- 고용보험가입 기준 취업률 · 50% 이상 5점 · 30%이상 ~ 50%미만 = 0.2×(고용보험 가입기준 취업률 - 30) + 1 · 30% 미만 1점

달성률(30점)과 고용보험가입 취업률(15점) 합계점수가 종합점수의 절반 정도를 차지한다.

주무현(2014a)의 경우, 본 사업의 정량 vs. 정성 점수 구성비에 대한 체계적인 분석을 시도하고 있다. 그러나 중분류 수준에서 정량/정성 지표 간 배분비율을 분석함으로써 정량지표 비중이 지나치게 낮다고 분석한 점에서 본 연구와 입장차가 존재한다. 소분류 수준에서 분석할 경우 양적 지표의 비중 자체는 문제가 되지 않으나, 목표달성률과 같은 일부 지표의 반복/중복산정에 의한 평가왜곡이 더 문제라는 입장이다. 본 연구는 주무현(2014a) 지적하듯이 양적지표 자체의 모호성에 대해서는 동일한 입장이다.

평가지표의 구성에서 또 하나 주목할 부분은 계량화가 가능한 지표들에 대한 배점이 지침으로만 제시되어 있기 때문에 개별 평가자의 성향에 따라서 동일한 실적에 대해서도 차별화된 점수를 부여할 가능성이 존재한다는 점이다. 물론 사업평가에 있어서 평가자의 전문적 판단 그 자체가 문제가 되는 것은 아니다. 다만 본 사업과 같이 사업의 개수가 많은 상황에서 지침이 자의적으로 해석될 가능성이 많다면 이른바 평정오류(rating errors)가 발생하여 평가결과의 공정성과 객관성에 부정정인 영향을 미치게 된다. 평정오류란 평가자가 평가대상을 관찰하고 평가할 경우에 체계적으로 발생하는 판단상의 오류를 의미한다(이근주 외, 2007; Deblieux, 2003; Lunenburg, 2012). 평정오류는 크게 4가지 정도--관대성(leniency) 혹은 엄격성(strictness), 중심경향성(central tendency), 후광/효과(halo effect), 근접오류(recency of events, proximity)--인데, 이러한 평정오류가 심각하다면, 본 사업이 달성하고자 하는 목표와 방향성을 사업 수행기관에 올바로 전달하지 못하는 결과를 낳을 수 있다.

이러한 문제의식에 기초하여 다음 절에서는 2013년 지역맞춤형 일자리사업 성과자료 및 평가결과 자료를 토대로 어떤 요인들이 평가점수 및 사업성과에 영향을 미쳤는지 분석했다. 이때 앞서 서술된 평가체계상의 특징과 사업수행 및 평가 현장에서 제기된 문제점들을 토대로 크게 세 가지 측면--평가자의 주관적 성향, 사업유형, 그리고 정량지표 측면 효과--에 초점을 맞추어 분석했다. 분석대상은 포럼, 연구, 패키지사업을 제외하고 특화사업을 중심으로 살펴보았다. 왜냐하면 특화사업은 사업예산의 대부분을 차지할 뿐만 아니라, 양적성과를 측정하기도 비교적 쉽기 때문에 앞서 제기된 쟁점들을 검증하는 데 있어서 더 나은 접근이라고 판단되었다.

2. 평가점수 영향요인 분석

(1) 평가자의 주관적 성향

[그림 1]을 통해 평가자별 점수분포를 살펴보면, 평가자간 평균 점수 및 표준편차가 상당한 수준으로 확인된다. 즉 평가자별 평가대상사업의 평균점수가 높을수록 표준편차가 낮은 반면, 평균점수가 낮을수록 표준편차가 높게 형성된 것이다. 분석대상 사업에 투입된 평가자 70명 중 상위 5명과 하위 5명의 평가점수를 비교해 보면 이러한 차이가 더욱 명확하게 드러난다. <표 7>에

<표 7> 평가자 상/하위 5명의 평가점수 분포

순위		평균점수	중위수	표준편차	최소값	최대값	평가사업수
상위 5명	1	97.9	97.3	1.4	96.6	100.0	5
	2	95.3	95.8	3.5	91.5	99.3	5
	3	94.6	95.3	2.8	91.5	98.0	5
	4	93.7	94.8	2.4	90.6	95.7	6
	5	93.4	91.3	4.1	89.3	98.3	5
하위 5명	66	73.8	72.3	18.4	49.0	98.0	5
	67	73.2	71.9	7.0	64.9	83.2	6
	68	72.5	74.0	6.8	61.4	79.9	5
	69	69.4	65.3	10.7	60.9	86.8	5
	70	62.9	62.6	6.7	54.0	72.8	5
총 70명		84.0	86.2	10.6	49.0	100.0	362

제시된 것과 같이 사업의 평균 평가점수가 가장 높은 상위 5명의 경우 표준편차가 1.4-4.1점 사이에 형성되었으나, 평균 평가점수가 가장 낮은 하위 5명의 경우 표준편차가 6.7-18.4점 사이에 형성되었다. 만일 이러한 결과가 평가대상 사업들의 배분상의 문제, 즉 사업성과상의 실제 편차에 기인한 것이라면 문제되지 않는다. 그러나 실제 사업성과(정량적인 측면이든 정성적인 측면이든)가 유사함에도 불구하고 평가자의 주관적 성향에 기인한 편차가 지배적이라면 앞서 언급한 관대성 혹은 엄격성 오류가 심각하다는 것을 의미하며, 따라서 평가체계상에 구조적인 문제점이 존재한다고 볼 수 있을 것이다.

[그림 1] 평가자별 평균점수 및 표준편차 분포

[부록]에는 평가지표 중분류별 평가점수의 평균 및 표준 편차가 제시되어 있는데, 정량요소들의 비중이 대부분을 차지하는 사업성과 부문 지표들의 편차가 크게 나타나는 반면, 정성요소들이 많은 비중을 차지하는 사업기획 및 집행부부문의 편차는 크지 않음을 확인할 수 있다. 즉 평가자의 주관적 성향을 제외하면 정성평가보다는 사업성과 부문 정량평가 지표의 편차가 지배적임을 의미한다.

최종 평가점수 차이가 실제 사업의 성과차이를 적절하게 반영하는 것인지, 아니면 평가자의 주관적 성향에 의해 발생된 것인지를 살펴보기 위해 [그림 2]와 같이 평균 평가점수 상/하위 각 2명의 평가자에 대해 각 사업별 성과지표와 최종 평가점수와의 관련성을 분석하였다. 분석결과 훈련목표 달성률 및 취업률 기준에서 큰 차이가 없음에도 불구하고 평가자간 평가점수 차이는 최대 20점 이상 발생한 것으로 나타났다. 특히 평균 평가점수가 최상위인 <평가자 1>(5개 사업 평균 97.9점)의 경우, 훈련목표 달성률이 적게는 70% 미만에서 많게는 90% 수준에 육박하지만, 평가점수는 최저 96.6점, 최대 100점에서 분포하는 것으로 확인되었다. 반대로 평균 평가점수가 최하위인 <평가자 3>(5개 사업 평균 62.9점)의 경우, 훈련목표 달성률이 최대 100%, 취업률이 50% 이상임에도 불구하고 평가점수는 최저 54점에서 최대 72.8점까지 분포하는 것으로 나타났다. 물론 사업의 총체적 성과는 훈련목표 달성률뿐만 아니라 사업 기획-집행-성과 측면의 다양한 양적 및 질적 요소들에 의해서 측정된다. 그럼에도 불구하고 2차례의 서면심사와 1-2차례의 현장방문만으로 사업의 종합적 성과를 평가자 개인이 뚜렷하게 구분하기 쉽지 않기 때문에 정성평가에 있어서도 취업의 양적 성과가 다른 부분에 상당 정도 반영될 수밖에 없다. 요컨대 평가지표에서 가

장 큰 비중을 차지하는 정량지표의 성과와는 별개로 평가자의 주관적 판단이 평가점수에 왜곡된 영향--최상위 평가자의 경우 관대화 경향과 최하위 평가자의 경우 엄격화 경향--을 미칠 가능성이 존재한다.

[그림 2] 사업별 사업성과와 평가자의 평가점수의 분포(시도내 특화)

(2) 정량지표 효과

2013년 사업 실적자료를 이용하여 각 사업별로 구성 가능한 주요 정량 지표를 구성하여 평가점수와의 상관관계를 분석하였다. 주요 정량지표는 다음과 같이 6개의 지표로 구성된다.

· 훈련목표 달성률 = 실제훈련인원/훈련계획인원*100

· 취업목표 달성률 = 실제취업인원/취업계획인원*100

· 대응자금비중 = 지자체 및 사업수행기관 대응예산/총예산*100

· 예산집행률 = 실제지출액/총예산*100

· 훈련1인당 지출액(백만원) = 실제지출액/훈련인원 수

· 취업률 = 실제취업인원/실제훈련인원

여기서 훈련목표 달성률과 취업목표 달성률, 예산집행률, 취업률 등은 <표 6>에서 소개된 양적 지표 항목들이다. 대응자금 비율은 사업 선정 단계에서 고려되는 항목으로 지자체의 예산자립도, 일자리경진대회 수상 여부 등에 따라서 면제 혹은 차등 부과된다. 다만 지자체의 일자리사업 수행 의지와 목표에 따라 부담해야 할 대응자금 비율을 초과하는 경우도 발생한다. 훈련 1인당 지출액의 경우 평가항목에 포함된 요소는 아니지만, 재정투입의 효율성 혹은 훈련의 질적 수준을 측정하는 양면적 성격을 갖는 평가요소라 판단되어 분석에 포함하였다.

<표 8> 주요 정량지표의 기초통계량

		평가 점수	훈련목표 달성률	취업목표 달성률	대응자금 비율	예산 집행률	훈련1인당 지출액	취업률
시도내	평균	83.8	83.7	73.4	12.8	83.3	2.7	35.4
	표준편차	10.7	18.7	33.4	10.1	17.2	1.7	10.6
	최솟값	49.0	18.3	0.0	0.0	0.0	0.0	0.0
	최댓값	100.0	185.0	192.3	61.9	105.2	13.9	58.3
	사례 수	270	268	268	270	267	266	268
시도간	평균	85.9	84.4	74.4	14.8	77.1	4.1	34.3
	표준편차	9.1	22.3	34.8	11.1	16.2	3.0	11.0
	최솟값	55.3	15.2	0.0	0.0	14.1	0.6	0.0
	최댓값	98.4	156.7	153.7	39.0	99.3	18.4	62.8
	사례 수	69	69	69	69	67	67	69

시도 간 경쟁과 시도  내 경쟁사업으로 구분하여 살펴본 정량지표의 기초통계량은  <표 8>과 같다. 시도 간 경쟁사업은 예산 규모가 크고 광역지자체가 주체가 되며 중앙평가단에서 전체 사업을 평가하는 반면, 시도 내 특화사업은 기초지자체가 사업 신청 주체가 되며 광역별 평가단에서 평가를 실시한다. 평가점수의 평균값을 살펴보면 시도 간 경쟁사업(85.9점)이 시도 내 경쟁사업(83.8점)보다 다소 높은데 정량지표와 비교해보면 흥미로운 점을 발견할 수 있다. 훈련목표 달성률과 취업목표 달성률은 시도 간 사업이 높고, 예산집행

률이나 취업률은 오히려 시도 내 사업이 더 높기 때문이다. 앞의 <표 6>에서 살펴보았듯이 훈련 및 취업목표 달성률은 중복 배점에 의해 종합점수 중 30% 정도가 배분되는 데 반해 예산집행률(3점)과 취업률(5점)은 8% 정도만 배분된다. 따라서 두 사업 유형간의 점수 차이는 취업률의 실제 성과차이 보다는 목표달성률에 가중된 배점방식에 기인했을 가능성이 존재한다.

<표 9> 주요 정량지표 간 상관관계

		평가 점수	훈련 목표 달성률	취업 목표 달성률	대응 자금 비중	예산 집행률	훈련 1인당 지출액	취업률
시도내	평가점수	1.000
	훈련목표달성률	0.288	1.000
	취업목표달성률	0.454	0.448	1.000
	대응자금비중	0.142	-0.064	0.033	1.000
	예산집행률	0.155	0.245	0.129	-0.030	1.000
	훈련1인당지출액	-0.079	-0.370	-0.165	0.066	0.182	1.000
	취업률	0.367	0.001	0.785	0.107	0.054	0.108	1.000
시도간	평가점수	1.000
	훈련목표달성률	0.304	1.000
	취업목표달성률	0.504	0.304	1.000
	대응자금비중	0.242	0.050	0.377	1.000
	예산집행률	0.382	0.217	0.204	-0.079	1.000
	훈련1인당지출액	0.180	-0.314	0.076	-0.094	0.238	1.000
	취업률	0.569	-0.060	0.776	0.218	0.214	0.364	1.000

이러한 결과는 상관계수 분석을 통해서도 확인된다. 주요 정량 성과지표들과 평가점수와의 상관관계를 살펴보면, 시도 간/시도 내 경쟁사업 모두 취업목표 달성률과 취업률 등취업성과 관련 지표들이 평가점수와 높은 상관관계를 보였다. 다만 시도 간 경쟁사업의 경우 취업성과지표와 평가점수와의 상관관계가 시도 내 사업보다 더 높게 나타나고 있는데, 중앙평가단에서 광역평가단보다 취업성과에 대한 가중치를 더 많이 부여했음을 의미한다. 또한 시도내 경쟁사업의 경우 취업목표달성률(0.454)이 취업률(0.367)보다 다소 높은 상관관계를 보인 반면, 시도 간 경쟁사업은 취업률(0.569)가 취업목표달성률(0.504)보다 높은 상관관계를 보였다. 즉 시도 간 경쟁사업의 평가점수에서 목표달성률 보다는 실제 취업률 반영도가 높았다고 할 수 있다. 한편 정량지표 간 상관관계를 살펴보면, 취업률과 취업목표달성률 간의 상관관계가 다른 어떤 지표보다 높은 것으로 나타났다. 즉 유사한 성격의 두 지표를 이중/삼중으로 가점(총 35% 배점)하는 것은 불필요하게 평가지표의 복잡성을 증대시킨 것으로 해석할 수 있다.

이러한 결과가 나타난 이유는 크게 두 가지로 설명할 수 있다. 첫째 통계적 추정상의 차이다. 상관관계 분석은 변수들간의 선형적 관계만을 수치로 보여주기 때문에, 만일 취업목표달성률과 평가점수에 비선형적인 관계를 갖는다면(예컨대, 취업목표달성률이 증가함에 따라 평가점수 증가가 체감/또는 체증), 이를 과소추정했을 가능성이다. 둘째 시도간 경쟁사업은 중앙평가단에 의해서 이루어지기 때문에 평가지침 상에 제시된 점수 배분 비중을 자체적으로 조정부여 했을 가능성이다. 반면 시도내 경쟁사업을 담당한 광역평가단은 상대적으로 지침을 충실하게 적용하여 목표달성률 반영도가 높았을 가능성이다. 다만 이 연구에서는 양자간에 어떤 요인이 지배적이었는지에 대해서는 밝히기 어렵다.

(3) 사업유형별 성과 차이

[그림 3]은 사업유형별 훈련 및 취업목표달성률, 평가점수, 취업률의 분포를 비교한 것이다. 앞서 분석한 바와 같이 시도 내보다 시도 간 사업이, 신규 사업보다는 계속사업이 전체적으로 훈련 및 취업 목표달성률이 더 높게 나타났다. 평균 훈련 목표달성률은 시도 간(계속사업 88.9%, 신규 사업 82.3%) 사업이 시도 내 (계속사업 84.9%, 신규 사업 82.8%)보다 높게 나타났다. 평균 취업 목표달성률 역시 시도 간(계속사업 96.0%, 신규사업 64.33%), 시도 내(계속사업 77.2%, 신규사업 70.78%)보다 높았다. 평가점수 및 취업률 지표에서도 시도 내보다 시도 간 사업이, 신규 사업보다는 계속사업이 평가점수 및 취업률 성과가 더 높게 나타났다. 평균 평가점수는 시도 간(계속사업 91.2점, 신규 사업은 83.4점)이 시도 내 (계속사업 85.9점, 신규 사업 82.3점)보다 높았으며, 평균 취업률 역시 시도 간(계속사업 40.0%, 신규 사업 31.6%)이 시도 내 (계속사업 36.1%, 신규 사업 34.9%)보다 높았다. 즉 시도 내 경쟁사업보다 시도 간 경쟁사업이, 그리고 신규 사업보다는 계속사업이 평균적인 훈련 및 취업성과에서 우위에 있었으며, 이러한 성과 차이가 평가점수에도 반영된 것으로 볼 수 있다.

[그림 3] 사업유형별 사업 성과 차이

(a) 목표 달성률

(b) 평가점수 및 취업률

(4) 평가점수 결정요인 분석

지금까지 평가점수에 영향을 미치는 요인을 평가자의 주관적 성향, 정량지표의 효과, 그리고 사업유형간 차이로 구분하여 살펴보았다. 그러나 기초분석결과만으로는 다른 요인들이 통제된 상황에서 각각의 요인들이 미치는 영향을 엄밀하게 추정하기 어렵다. 특히 평가자 개인 성향이 미치는 효과는 양적으로 관측하기 어렵기 때문에 이를 적절하게 통제해야 한다. 만일 평가점수를 부여함에 있어서 개별 평가자의 성향과 정량지표 간의 관계가 독립적이라면 확률효과모형을 추정하면 되지만, 양자 간에 상관관계가 존재한다면 고정효과모형으로 추정해야 한다. 이런 배경에서 <표 10>에 제시된 것과 같이 분석모형을 선형회귀모형과 패널 확률효과, 그리고 패널 고정효과모형으로 구분하여 추정하였다. 우선 하우스만 검정 결과 확률효과와 고정효과모형의 계수 차이는 통계적으로 유의하지 않은 것으로 나타나, OLS와 확률효과모형의 계수 모두 추정량의 일치추정량인 것으로 판별되었다. 확률효과모형을 통해 개인의 평가 성향의 크기를 추정(다층모형 및 패널확률효과)한 결과, 평가점수에 대한 총 분산 중 평가자 개인차에 따른 평가점수 분산의 비중을 의미하는 ICC(Intra Class Correlation)는 25.4% 수준인 것으로 나타났다. 개인의 성향 차이가 전체 평가점수 편차의 1/4 정도를 설명한다.

Hausman test 결과, chi2 값이 3.4(Prob>chi2 0.8453)로 나타났다. 취업률은 평가자의 주관적 성향과 독립적으로 결정되기 때문에 논리적으로 타당한 결과로 해석된다.

<표 10> 평가점수 결정요인 분석

	<모형 1> 선형회귀		<모형 2> 패널확률효과		<모형 3> 패널고정효과
신규/계속여부(계속=1)	2.588**	(1.039)	2.835**	(0.907)	2.954**	(0.951)
지역간/내 경쟁(지역간=1)	2.386+*	(1.321)	2.524**	(1.695)	1.294**	(3.235)
훈련목표달성률	0.143***	(0.030)	0.135**	(0.027)	0.133**	(0.029)
대응자금 비율	0.096+*	(0.049)	0.066**	(0.046)	0.055**	(0.050)
예산집행률	0.058+*	(0.031)	0.054+*	(0.028)	0.051+*	(0.030)
훈련1인당지출액	0.194**	(0.281)	0.114**	(0.256)	0.099**	(0.276)
취업률	0.351**	(0.047)	0.397**	(0.041)	0.419**	(0.044)
상수	51.804**	(3.397)	51.729**	(3.095)	51.748**	(3.232)
Ui의 분산			0.372(rho) 0.254(ICC)
N	332		332		332
R-sq	0.30				0.41

각 정량지표들의 효과를 살펴보면, 세 모형 모두 취업률과 훈련목표달성률이 높고 계속사업일수록 평가점수에 통계적으로 유의(1% 유의수준)한 강한 정(+)의 영향을 미치는 것으로 확인되었다. 예산집행률 역시 통계적으로 약한 정(+)의 영향을 미치는 것으로 나타났다. 그러나 지역간/내 경쟁여부와 지자체 대응자금비율의 경우 선형회귀 분석에서는 10% 유의수준 하에서 통계적으로 유의미한 것으로 나타났지만, 확률/고정효과모형에서는 통계적 유의성을 상실하였다. 즉 선형회귀모형의 경우 평가자 개인의 성향을 고려하지 않음으로써 표준오차가 과소 추정되었던 것으로 판단된다. 반면 계속사업이 평가점수에 미치는 영향은 확률/고정효과모형을 통해 오히려 통계적 유의성이 향상되었다. 대응자금비율과 훈련1인당 지출액의 경우 현행 평가지표에 포함되어 있지 않기 때문에 이러한 결과는 적절한 것으로 판단된다. 다만 지역 간 경쟁 여부에 따른 평가점수의 차이가 약하거나 통계적으로 유의하지 않다는 결과는 사업유형 간에 존재하는 특성 차이(취업률과 훈련목표달성률)와 평가자 성향의 차이에 기인한다는 것을 확인할 수 있었다. 반면 다른 요인들을 통제했음에도 불구하고 신규 사업에 대한 평가점수가 낮다는 것은 관측된 성과 차이 및 평가자 성향 차이 외에 별도의 미관측된 질적 차이 혹은 패널티가 존재함을 보여준다.

지금까지의 분석결과를 요약하면 다음과 같다. 먼저 현행 평가체계는 지표 구성 및 영향력 측면에서 명시적 정량 평가 지표의 비중이 약 50% 정도를 차지하며, <사업성과>의 비중이 절대적이라고 할 수 있다. 이들 정량 평가지표에 대해 구체적인 점수 부여 기준이 마련되어 있으나, 사업유형 및 평가자 개인의 성향에 따라 실제로 부여된 점수는 큰 편차를 보이고 있다. 또한 회귀분석 결과에서도 볼 수 있듯이, 평가자 개인의 편차를 통제할 경우 정량지표들이 평가점수의 분포에 미치는 영향이 달라진다는 점을 확인할 수 있었다.

이로부터 2013년 실증분석을 통해 현행 평가지표의 문제점을 도출하면 다음과 같다. 첫째, 정량지표와 정성지표 구분이 모호함으로 인해서 발생하는 문제점이다. 평가지표를 구성하는 세부요소들은 살펴보면 외형적으로 정성지표와 정량지표를 별도로 구분하지 않고 있다. 그럼에도 불구하고 실제 평가과정에서는 사업간 등급 차이를 구분하기 위해 소수의 정량지표들에 반복적으로 의존할 수밖에 없다.

둘째, 현행 평가체계는 비슷한 수준의 정량성과에 대해 평가자 개인 간 편차(평정오류)를 최소화하고 객관화할 수 있는 장치가 미흡하다. 비록 평가지침을 통해 세부 지표별로 부여되어야 하는 점수의 수준과 범위를 명시하고 있으나, 실제 점수부여 과정에서는 이를 벗어나는 결과가 빈번하게 관찰되었다. 특히 평가자와 피평가 사업기관이 학연과 지연 등의 네트워크로 연결되어 있다면 평가자 개인 간 편차는 커질 수밖에 없는 한계가 있다. 따라서 이를 차단할 수 있는 수단이 필요하다.

셋째, 평가지표의 유사․중복성 및 복잡성 문제이다. 평가지표가 대분류-중분류-소분류 체계로 세분화되어 있음에도 불구하고 소수의 정량지표들에 대한 중복 배점이 이루어지는 등의 문제가 발생한다. 필요 이상 복잡한 평가지표 체계는 앞서 서술한 평가자간 편차의 확대를 불러일으키는 주요한 요인 중 하나가 되고 있다.

넷째, 계속사업이 신규 사업보다 평균 훈련목표 달성률, 평균 취업 목표 달성률, 평가점수 및 취업률 지표에서 높게 나타났다. 이는 계속사업의 경우 처음부터 목표치를 낮게 설정하여 목표치 대비 달성치가 높게 나타난 반면, 신규 사업의 경우 사업이 일자리사업으로 선정되기 위해 처음부터 목표치를 높게 잡는 경향이 있어 목표치 대비 달성치가 상대적으로 낮을 수밖에 없는 한계가 있다.

이상과 같은 평가체계의 문제점은 현재의 사업관리 및 운영이 행정적 편의성에 지나치게 의존하기 때문인 것으로 보인다. 즉 평가체계 자체가 소수의 정량지표(취업률, 취업목표 달성률 등)에 과도하게 의존하기 때문에, 취업목표 달성이 용이하고 계량화가 쉬운 검증된 내용의 인력양성사업 중심으로 사업이 재편되는 것이다. 정부에서 주관하는 인력양성사업 경험이 많은 기존의 전문인력 양성기관에 의한 의존도가 높아지는 이유도 동일한 맥락으로 이해될 수 있다. 따라서 현행 평가체계가 개편되지 않는다면 지역 실정에 맞는 창의적인 사업아이템보다 전문인력 양성 중심의 사업으로의 편중이 더욱 심화될 것으로 보인다.

Ⅴ. 결론 및 개선방안

우리나라 정부는 일정한 기관 · 법인 또는 단체가 수행하는 정책 · 사업 · 업무 등에 관하여 그 계획의 수립과 집행과정 및 결과 등을 점검 · 분석 · 평가하고 있다. 고용노동부가 추진하고 있는 지역맞춤형 일자리창출 지원사업의 경우에도 매년 평가를 통해 이를 수행하고 있다.

본 연구는 2013년 평가에 대한 실증분석을 통해 지역맞춤형 일자리창출 지원사업의 평가체계가 갖는 문제점과 개선과제를 살펴보았다. 물론 본 사업의 개선과제는 단지 평가체계의 문제만으로 환원될 수 없다. 몇몇 최근의 연구들에서 제시되고 있듯이, 사업목표 및 사업 내용의 재구성, 지원규모 및 방식의 유연화 및 효율화, 중앙 및 지방간 수직적 소통 강화, 지역 내 주체 간 수평적 연계강화 등 사업전반에 걸친 과제가 산적해있다(전명숙․임상훈, 2014; 전명숙, 2014; 주무현, 2014b). 그럼에도 불구하고 이 연구는 그동안 이루어지지 않았던 계량적 분석을 토대로 객관적 근거가 모호했던 일자리사업의 문제점을 분석했다는 점에서 연구의의를 찾을 수 있을 것이다.

본문의 분석결과를 토대로 일자리사업 개선방안을 평가체계 측면에서 제시하면 다음과 같다. 첫째, 일자리사업은 청년, 경력단절여성, 다문화가정, 중 · 고령자 등 취약계층의 고용창출에 관심이 높다. 따라서 지역 실정에 맞는 고용창출을 지원한다는 애초의 사업목표에 부합하는 방식으로 평가체계가 재구성되어야 한다. 즉 기존의 단계별 접근 방식이 갖는 과정관리 및 운영 효율성 중심의 관점을 탈피해야 한다. 이와 관련하여 임상훈․전명숙(2014)는 사업 유형 자체를 산업-고용 연계형과 복지-고용 연계형으로 구분하고 각각의 유형에 대해 정책역량개발, 책무성, 파트너십, 사회통합 차원 요소들을 측정하는 형식으로 재편할 것을 제안한 바 있다. 각 개념들에게 대한 명확한 정의와 내용이 채워질 경우 해당 요소에 부합하는 방식으로 지표들을 재편할 수 있을 것이다.

둘째, 평가지표의 객관성과 공정성을 향상시킬 필요가 있다. 이를 위해서는 우선 정량지표와 정성지표가 분명하게 구분하고, 정량지표에 대해서는 평가자 개인의 주관적 성향이 반영될 소지를 최소화해야 한다. 따라서 정량지표는 유사 지표가 중복되지 않도록 개수는 줄이되 사업성과를 최대한 입체적으로 측정할 수 있는 별도의 사업성과표를 구성하여 입력토록 하여 일괄적으로 점수화하는 것이 바람직하다. 또한 평가자는 정성지표에 대한 엄밀한 평가에 보다 집중하도록 하되, 정성평가 지표는 위에서 언급한 정책역량개발, 책무성, 파트너십, 사회통합 요소 등으로 구성하고 현장 실사를 강화하여 채점결과의 신뢰성을 높일 수 있도록 한다. 또 다른 정성평가 지표에 대한 좋은 사례로는 OECD-LEED(OECD, 2012; 2013; 2014)을 참고할 수 있다. ‘계기판 접근법(dashboard approach)'으로 일컬어지는 본 평가 방식은 지역고용정책 혹은 사업이 어느 정도 사업 목표에 부합하는지를 측정하기 위해 세분화된 측정 영역들을 제시하고 이에 대한 측정 기준들을 제시하고 있다. 이 접근법의 적용은 현재까지 OECD 국가 간 비교에만 사용되었지만, 전반적인 접근법 자체는 평가자의 현장 실사 평가지표 체계에 적용되기에 참고할 만하다.

평가자간 편차 문제와 이해당사자 문제는 2014년 평가부터 복수 평가위원 평가 및 지역별 교차 평가로 어느 정도 해결 가능할 것으로 보인다. 이러한 변화가 기존에 제기된 문제점을 해소하고 긍정적인 효과를 보였는지에 대해서는 향후 별도의 비교 연구가 필요할 것이다.

예를 들면 책무성(accountability)은 지역 고용주체들의 법적, 성과적, 예산적, 공공적 책무성을 어떻게 강화시켰는가, 파트너십(partnership)은 지역고용의 주체인 중앙정부, 지방정부, 지역의 노사단체, 기타 다양한 고용 관련 민간이 어떻게 각 주체들 간의 파트너십과 거버넌스 구축하는가, 사회통합성(inclusion)은 취약계층에 대한 훈련 및 고용서비스를 얼마나 제공했는가, 역량개발(capacity Building)은 지역 주체가 지역노동시장 특성에 맞는 정책을 수립하고 집행했는가를 평가할 수 있다(전명숙, 2014).

셋째, 사업의 유형을 산업-고용 연계형과 복지-고용 연계형으로 구분하여 평가지표 항목 및 가중치를 차등 적용하는 것이다. 다만 이 경우 몇 가지 현실적으로 발생가능한 문제점을 해소할 필요가 있다. 2014년 현재 사실상 산업-고용 연계형으로 구분될 수 있는 사업이 다수를 차지하고 있으며, 산업-고용 유형과 산업-복지 유형의 구분이 모호한 사업 역시 상당수 존재한다. 따라서 두 유형에 대한 정의를 명확히 하고 사업신청 단계에서 표시하도록 한다. 또한 평가지표상의 차이점을 명확히 구분하여 제시해야 한다.

넷째, 평가에 영향을 미치는 목표치 설정에 일정 가이드라인을 제시할 필요가 있다. 현재 고용노동부는 달성률에 초점을 맞추고 있어 내부적으로 목표율 대비 달성률은 최소 20% 이상이 되는 것을 원칙으로 하고 있다. 계속사업 기관의 경우 차후년도 사업선정을 위해 기존 목표치보다 낮게 설정하여 달성률을 높이는 방법을 사용하는 반면, 신규 사업 기관은 사업 선정을 위해 목표치를 높게 설정하여 달성률이 감소한다. 이는 실증분석에서 보여준 것처럼 계속사업이 신규 사업보다 훈련 및 취업 목표달성률이 높을 수밖에 없다. 따라서 정부가 최소 목표 설정 가이드라인을 제공함으로써 계속사업과 신규 사업의 평가 불공정성을 감소시킬 필요가 있다. 예컨대 평가 결과에 가장 큰 영향을 미치는 훈련목표 달성률, 취업목표 달성률, 취업률에 대한 최근 3-5년 평균을 산출하여 가이드라인으로 제시할 수 있다.

마지막으로, 평가지표 간 배점 역시도 보다 체계적인 방식의 검증과 절차를 거쳐 신뢰성을 높일 필요가 있다. 지표 간 배점을 변경하는 방식은 크게 두 가지 대안이 가능하다. 첫째, 기존 평가체계와 같이 사전적으로 지표 간 일정 비율을 강제할당 배분하는 방식이다. 이때 할당 비율은 전문가들에 대한 설문조사 등을 실시한 후 반영토록 할 수 있다. 둘째, 지표 간 비중을 사전에 강제 배분할 경우 배점의 비중이 자의적이라는 비판이 제기될 수 있기 때문에, 정책평가 연구에서 널리 활용되고 있는 계층분석방법(Analytic Hierarchy Process, AHP)의 도입을 고려할 수 있다.

여기에는 정량지표와 정성지표의 비율을 50대 50으로 배정, 중간평가와 최종평가의 비율을 30대 70으로 배정, 사업 기획-집행-실적을 각각 20대 30대 50으로 배정, 각 단계 내에서 세부 지표들의 배점 기준 등이 모두 포함된다.

이 방법은 의사결정 문제가 다수의 평가기준으로 이루어져 있을 때 우선 평가기준 을 계층화한 후 계층에 따라 중요도를 정해가는 다기준 의사결정 기법으로, 예비 타당성 조사를 비롯한 정책평가 연구에서 널리 사용되고 있는 방법이다.

참고문헌

감사원(2005), “정책․사업의 평가를 위한성과 감사운영 매뉴얼”.

기재부(2013), “공공기관 평가 편람”.

김종한 · 박성익 · 조장식 · 류장수(2014), “민선 5기 지역고용구조 변화와 일자리 공시제 개선방안”, 2014년 한국지역고용학회 정기학술대회 자료집.

김주환(2006), “한국과 일본의 중앙정부 정책평가 제도 비교연구-정책평가 관련 법 및 제도를 중심으로”, ꡔ정책분석평가학회보ꡕ, 제16집 제4호, pp.57-87.

고용노동부(2013), “2014년 지역맞춤형 일자리창출 지원사업 시행지침”.

국회예산처(2005), “지업능력개발사업 집행평가,” 2005년도 국가주요 정책 · 사업평가 보고서, 제8호.

---------(2006), “일자리지원 사업 평가,” 2005년도 국가주요 정책 · 사업평가 보고서, 제13호

라휘문(2012), “경기도 일자리지원 사업에 대한 평가모형의 설계”, ꡔ한국정책연구ꡕ, 제12권 제3호, pp.131-155.

문화재청(2005), “목표관리제 운영의 효율성 제고를 위한 연구”.

이근주 · 백종섭 · 권경득, “공무원 성과관리제도 운영의 적정성 평가기준 개발”, CSC 정책연구보고서, 중앙인사위원회.

이세구(2003). “성과주의 예산제도도입에 따른 지방자치 단체의 통합성과 관리 방안: 서울시 사례를 중심으로,” ꡔ한국지방재정논집ꡕ, 제8권 제1호, pp.135-162.

이창기(2005), “정부 업무평가를 위한 성과지표 개발 방안”, 한국 정책분석 평가학회 기획 세미나 발표 논문집, pp.5-29.

임상훈 · 박용철(2011), “한국과 일본의 지역고용사업 비교 연구,” ꡔ지역고용연구ꡕ, 제3권 제1호, pp.91-116.

임성일(2008), “지방재정의 효율성 제고와 예산절감,” 2008년 지방재정 세미나.

전명숙(2014), “지역맞춤형 일자리창출 지원사업 평가체계 개편방안,” 한국지역고용학회.

전명숙 · 임상훈(2014), “지역일자리공시제와 지역맞춤형 일자리창출사업 개선방향,” 2014년 한국지역고용학회 정기학술대회 자료집.

제갈돈 · 김주환 · 김흥률 · 이윤식(2006), “성과관리를 위한 우리나라 평가지표체계의 개선방안에 관한 연구,” ꡔ한국거버넌스학회ꡕ, 제13권 제2호, pp.217-248.

주무현(2014a), “지역맞춤형 일자리사업 평가체계의 문제점 및 개선과제”, 2014년 한국지역고용학회 정기학술대회 자료집.

--------(2014b), “지역맞춤형 일자리창출 지원 사업 개편방안”, 2014년 제1회 지역산업고용포럼 발표문.

최정수(2004), “미국의 정책평가제도,” ꡔ보건복지포럼ꡕ, 제94호, pp.103-110.

최홍근․나관식․유연우(2012), “AHP를 이용한 정부 재정지원 사업 평가모형: 안전보건협력 사업을 중심으로,” ꡔ생산성논집ꡕ, 제26권 제4호, pp.321-344.

한국노동연구원(2004), “노동연구원 노동행정에 있어서 성과관리제도 도입방안”, 고용노동부.

한국고용정보원(2013), “재정지원 일자리 고용효과성 성과평가,” 고용노동부.

홍성우 · 임상훈(2010), “지역고용 · 인적자원개발 지원사업 평가와 과제,” ꡔ지역고용연구ꡕ, 제2권 제1호, pp.46-70.

Brown, D. (2007), Civil Society Legitimacy and Accountability. Hauser Center for Nonprofit Organizations, Harvard University.

Deblieux, M. (2003), Performance Appraisal Source Book: A collection of practical samples, Alpharetta, GA: Society for Human Resource Management.

Drucker, P. F. (1954), The Practice of Management, New York: Harper & Brothers.

GAO (2013), 2013 Annual Report: Action Needed to Reduce Fragmentation, Overlap, and Duplication Achieve Other Financial Benefits, U.S. Government Accountability Office.

HM Government (2005), Securing the Future: Delivering UK Sustainable Development Strategy, Norwich: The Stationery Office.

Kettle, F. D. (2000), The Global Public Management Revolution: A report on the transformantion of governance, Washington D.C: Brooking Institution Press.

Kravchuk, R. S. and Schack, R. W. (2014), “Designing Effective Performance-Measurement Systems under the Government Performance and Results Act of 1993,” Public Administration Review, Vol.56, No.4, pp.348-358.

Lunenburg, F. C. (2012), “Performance Appraisal: Methods and Rating Errors,” International Journal of Scholarly Academic Intellectual Diversity, Vol.14, No.1, pp.1-9.

Mali, P. (1986), MBO Updated: A Handbook of Practices & Techniques for Managing by Objectives, John Wiley & Sons.

McConkey, D. D. (1983), How Staff Managers Make Things Happen: Productivity Through MBO, Masterco Press.

OECD (1994), Performance Management in Government, OECD Publishing.

(2009), Governing Regional Development Policy: The Use of Performance Indicators, OECD Publishing.

(2012), Local Job Creation: How Employment and Training Agencies can Help: A Signature Project in the OECD LEED Programme of Work, OECD-LEED Working Paper 2012-14.

(2013), Activating Job Seekers: Lessons for Seven OECD Countries, OECD Employment.

(2014), Employment and Skills Strategies in Australia, OECD Reviews on Local Job Creation, OECD Publishing.

Robbisns, S. P., Decenzo. D. A. and M. Coulter(양동훈 · 임효창 · 조영복 역, 2011), Foundamentals of Management: Essential Concepts and Applications, 시그마 프레스.

Rodgers, R. and J. E. Hunter (1991), “Impact of Management By Objectives on Organizational Productivity,” Journal of Applied Psychology, Vol. 76, No.2, pp. 322-336.

Wholey. J. S. and H. P. Hatry (1992), “The Case for Performance Monitoring,” Public Administration Review, Vol. 52, No.6, pp.604-610.

[부록] 세부 평가지표별 평균 점수 및 표준편차

(a) 평균값

(b) 표준편차

abstract

Problems and Improvement of Evaluation System of Regional Customized Job Creating Project: 2013 Empirical Analysis

Sang Beom Woo․Sang Ho Lee

Regional customized job creating project, one of primary employment policy of government increased as a quantitative during about 10 years and appears problems of competency deficiency of regional agents and doubleness of project. The cause comes from evaluation system. Many papers, however, didn't show objective and main cause about problems of evaluation system and index of evaluation. This paper shows problems and improvement of evaluation system of regional customized job creating project through empirical analysis of outcome, 2013.

Result of analysis, we find several points; first, 50%-over influence of quantitative index, second, large deviation according to personal propensity of an appraiser, third, better achievement of inter-regional and  continuing project than intra-regional and new one in terms of goal achievement ratio.

Based on the result, this article suggests restructure of evaluation system, improvement of objectivity and fairness of index of evaluation, development of evaluation items according to type of project(industry-employment, welfare-employment) and evaluation differential, guideline of desired value, and differential weight between index of evaluation

Keywords: regional customized job creating project, evaluation system, index of    evaluation