[사랑의 열매] "사회복지 성과측정 자료 " 척도 활용집

[사랑의 열매] "사회복지 성과측정 자료 " 척도집

 

1. 성과평가의 중요성

오늘날 사회복지 실천현장을 주도하는 가장 강력한 실천 이데올로기는 바로 ‘평가(evaluation)'다. 이렇게 사회복지사업에 그 어느 때보다 평가가 중요하게 부각된 이유를 요약하면 크게 다음의 두 가지다.

 

1.1970년대 이후 신자유주의 물결에 의해 세계적으로 복지국가 위기론이 제기되면서, 사회복지 실천의 정당성이 의심받게 되었다. 그 결과, 국가와 사회는 사회복지의 효율성과 효과성을 객관적 증거로 요구하게 되었고 그 증거에 따라 사회복지 자원을 배분하기 시작한 것이다.

 

2.사회복지내부의 변화로서, 사회복지전문가 스스로 ‘평가’의 중요성을 인식하기 시작했으며, 전문성에 대한 사회적 승인을 얻고자 실천의 효과성을 객관적 증거로 제시하기 위해 노력하였다.

 

이러한 사회복지의 정당성 혹은 신뢰성의 위기에 대응하기 위한 사회복지 전문가들의 공동의 노력은 바로 ‘과학적 실천(scientific practice)'을 하는 것이다. 과학적 실천이란, 객관적이고 타당한 정보에 근거해서 사회복지사업을 효과적․효율적으로 수행하는 것을 의미한다(엄명용․조성우, 2005).

 

과학적 실천에서 가장 중요한 것은 객관성(objectivity)과 타당성 (validity)을 갖춘 증거를 통해 사회복지실천에서 의사결정(decision making)을 하는 것이다. 이를 다른 표현으로 ’증거기반의 실천 (evidence-based practice, EBP)‘이라고도 한다.
∙ 객관성(objectivity) : 개인의 주관에 의해 좌우되는 것이 아니라, 다수에 의해 보편타당하게 받아들여지는 성질을 의미하는 것으로, 주로 양적 자료를 통해 확보된다.
∙ 타당성(validity) : 평가 자료가 사회복지 프로그램 목표의 내용적 측면(content)을 잘 반영하고 있는 경우 높은 타당성을 갖추었다고 볼 수 있다.
∙ 증거기반의 실천(EBP) : 객관적이고 타당한 증거를 사용하여 사회복지사업의 효과성과 효율성을 증명하는 실천을 의미한다.

 

2 성과(사회복지사업 종결 후, 나타나는 산출(outputs)과 성과(outcomes)를 의미한다.)

성과는 다양하게 정의된다. 성과와 관련된 영어표현으로는 outcome, output, result, performance 등이 있으며 성과, 산출, 결과 등으로 다양하게 표현된다. 사실 성과를 정의할 때 가장 큰 논쟁은 성과를 결과의 개념으로 볼 것인가, 아니면 과정의 개념으로 볼 것인가이다. 이에 관해서 학계에서도 오랜 기간 동안 논쟁 중에 있다. 가장 일반적인 성
과 개념은 과정(process)보다는 사업 종결 후의 결과(result)의 개념으로 보는 것이다. 예를 들어, 비행 청소년 상담 프로그램에서 상담 후, 청소년이 비행 행동을 멈추게 되었다면 이를 성과로 간주하는 것이다.

 

그에 비해 과정 개념으로 성과를 바라보는 관점에서 중요하게 여기는것은 바로 프로그램이나 서비스가 제공되는 절차와 사회복지 전문가의 활동이다. 즉, ‘개입(intervention)' 자체이다. 청소년 상담 프로그램에서 과정을 성과로 간주한다면, '상담자가 얼마나 클라이언트의 감정에 적절히 반응했는가?' 혹은 '상담 서비스가 내용적으로 충실했는가?' 등이 성과로서 평가될 수 있다.

 

그러므로 성과를 충실하고 온전하게 평가하기 위해서는 결과와 과정모두 평가의 대상으로 삼아야 한다. 그러나 실무현장에서는 평가목적에 따라 ‘결과’만을 평가하거나, ‘과정’만을 평가하기도 한다.

 

3.평가(사회복지사업 종결 후, 수행하는 산출 및 성과에 대한 가치판단)

평가 역시 다양하게 정의되고 활용된다. 평가에 대한 일반적이고 간단한 사전적 정의는 ‘어떤 대상에 관한 가치를 부여하는 것’이다. 이러한 기본적 정의를 사회복지사업에 적용해 본다면, 사회복지에서 평가란 ‘사회복지사업에 대한 가치판단을 하는 것’으로 정의할 수 있다. 그렇다면 구체적으로 무엇에 관한 가치판단이며, 이러한 가치판단을 하는
이유는 무엇인가? 그것은 사업의 타당성과 적절성의 가치를 판단하는것이다. 이러한 가치판단을 하는 이유는 한마디로 의사결정(decision making)을 하기 위해서이다.

 

의사결정의 내용은 다음과 같다.
∙ 이 사업은 성공했는가? 아니면 실패했는가?
∙ 이 사업은 지역사회와 클라이언트에게 도움이 되었는가? 아니면 도움이 되지 못했는가?
∙ 앞으로 이 사업을 지속할 것인가? 아니면 종결할 것인가?

 

성과평가를 좀 더 깊이 있게 이해하기 위해서는 모든 사회체계를 [투입]-[과정]-[산출]-[성과] 구조로 설명하는 일반체계모형(general system model)의 관점에서 사회복지사업을 바라볼 필요가 있다.

∙ 투입 : 사업에 활용되는 인적․물적․시간․정보 자원들
∙ 과정 : 사업이 진행되는 모든 절차들
∙ 산출 : 사업 종결 후, 나타나는 객관적 산출물
∙ 성과 : 사업의 목적과 관련된 내용을 담고 있는, 클라이언트와 지역사회의 바람직한 변화

 

총괄평가는 다음의 특징을 갖는다.
∙ 사업의 성공과 실패를 확인하기 위해 실시한다.
∙ 결과를 이해관계자(예:공동모금회)에게 보여주기 위해 실시한다.
∙ 사업 종결 후의 시점에서 실시한다.
∙ 사업의 효과성(effectiveness)과 효율성(efficiency)을 평가한다.
∙ 평가정보는 단기성과, 중기성과, 장기성과에 초점을 둔다.
∙ 평가결과에 대한 신뢰성은 객관성이 얼마나 높은 자료를 사용하는 가에 달려있다.

이에 비해 과정평가는 다음의 특징을 갖는다.
∙ 사업의 품질을 개선하기 위해 실시된다.
∙ 내부 직원들이 활용한다.
∙ 사업을 진행하는 과정 중에 실시한다.
∙ 평가정보는 사업의 목적, 실행, 절차에 초점을 둔다.

 

목적, 목표, 평가기준, 지표의 정렬

 

모든 사회복지사업은 나름대로 목적과 목표3)를 갖는다. 평가에서 사회복지사업의 ‘방향’과 ‘평가내용’을 정렬하는 작업은 매우 중요하다.

 

여기서 말하는 방향이 바로 목적(goal)과 목표(objective)로서 표현된다. 그리고 평가내용은 평가기준(criteria)과 지표(indicator)를 의미한다. 사회복지사업은 1개 이상의 목적을 가지며, 그 목적 아래에 1개 이상의 목표를 가질 수 있다. 중요한 것은 각 목표는 달성여부가 명확히 확인될 수 있어야 한다는 점이다. 그렇기 때문에 목표는 명료하게 정의될
필요가 있다.

 

∙ 목적 : 사회복지사업이 달성하고자 하는 중장기적 성과
∙ 목표 : 목적을 이루는 데 요구되는 단기적 성과로서 성취여부가 명확히 확인될 수 있는 것

 

평가에서 중요한 작업은 ‘목표’-‘평가기준’-‘지표’를 명확하게 정렬 (alignment)하는 작업이다. 1개의 목표 아래에는 1개 이상의 평가기준이 있고, 그 평가기준 밑에는 1개 이상의 지표가 있다. 여기서 평가기 준(criteria)이란 목표가 달성되었는지 의사결정 하는 데 사용되는 잣대를 의미한다. 예를 들어, ‘노인의 신체기능 향상’이 목표라면 ‘신체기능’이 평가기준이 될 수 있다. 그리고 지표(indicator)는 평가기준을 구체적으로 측정하기 위한 항목(item)이나 척도(scale)가 된다. ‘신체기능’ 이 평가기준이라면, ‘운동량’, ‘1일 운동시간’, ‘신체기능을 확인하는 체크리스트 점수’ 등이 지표가 된다.

 

∙ 평가기준 : 목표가 달성되었는지 의사결정 하는데 사용되는 잣대
∙ 지표 : 평가기준을 구체적으로 측정하는 항목(item)이나 척도(scale)

 

객관적 지표와 판단적 지표

 

평가기준(criteria)은 실제 객관적으로 측정되거나 관찰될 수 없다. 그에 비해 지표란 객관적으로 측정될 수 있으며, 한 마디로 기준을 경험 하기 위한 용도로 사용된다. 예를 들어, '이용자 만족(client satisfaction)'은 기준이 되고, (설문지를 사용한) '만족도 점수(score)'는 지표가 된다. ‘이용자 만족’은 인간의 눈에 보이지 않고 개념으로만 존재하는 용어이다. 우리는 지표를 사용해서 ‘만족도 점수’를 눈으로 확인해서 간접적으로 기준을 ‘경험’하는 것이다.

 

지표는 객관적 지표와 판단적 지표로 구분된다. 객관적 지표는 누가 측정을 하든지 동일한 점수로 측정될 수 있는 경우를 의미하는 것으로, 대체로 측정의 신뢰도(a reliability of measurement)가 높다. 예를 들어, 이용자 수, 서비스 제공 횟수, 참가 기간 등의 셈(count) 자료로 객관적 기준이 측정된다. 이와 달리 판단적 지표라는 것은 사람의 판단에 의존해서 측정되는 자료로서 보통 각종 설문도구에 의해 측정된다. 대표적으로 만족도 점수를 들 수 있다. 판단적 지표를 통해 수집된 자료는 측정의 오차가 객관적 지표에 비해 상대적으로 높은 단점을 갖고 있다.

∙ 객관적 지표의 예 : 클라이언트 수, 서비스 제공 횟수, 참가기간 등의 셈(count) 자료
∙ 판단적 지표(주관적 지표)의 예 : 설문지나 심리검사 응답자료

 

타당도 개념

타당도를 이해하는 것은 모든 평가업무에서 가장 중요하고 결정적인 것이다. 따라서 성공적으로 평가업무를 수행하기 위해서는 반드시 타당도의 개념을 이해할 필요가 있다. 실제 평가를 수행할 때, 실무자들이 갖는 거의 대부분의 고민들은 모두 타당도와 관련이 있다. 예를 들어, ‘어떤 설문지를 사용할까?’, ‘이 척도를 사용하는데 문제는 없을까?’ 등의 고민은 평가업무에서 평가도구의 타당도를 얼마나 높이는가를 통해 해결될 수 있는 것이다.

평가에서 타당도(validity)를 한마디로 정의하면, ‘내용적으로 서로 관련된 정도’로 설명된다. 우리가 어떤 평가도구를 사용할 때 타당도의 관점에서 생각해야 하는 것은, 평가도구의 내용과 프로그램 목표가 얼마나 내용적으로 일치하는가이다. 예를 들어, 아동의 사회성을 향상시키는 목표를 갖고 있는 사업에서 평가기준과 지표는 ‘아동 사회성’과
밀접한 내용적 관련성을 맺고 있어야 한다.

∙ 타당도 : 내용적으로 서로 관련된 정도
∙ 평가기준의 타당도 : 목표와 평가기준 간의 내용적 관련성
∙ 지표의 타당도 : 평가기준과 지표 간의 내용적 관련성

결국 타당도를 분석한다는 것은 ‘내용(content)을 점검’하는 것이다. 사회복지사업에서는 목표, 평가기준, 지표가 서로 내용적으로 관련이 높을 때, 평가기준과 지표는 높은 타당도를 갖게 된다.