과학기술역량평가

과학기술역량평가 개요

COSTII 산출과정

과학기술역량평가는 OECD 국가들의 과학기술혁신역량 수준을 종합적으로 진단하는 모형을 개발하여, OECD 36개국을 대상으로 과학기술혁신역량을 비교‧분석하는 평가를 의미한다. 해당 평가는 한국의 과학기술혁신역량의 강점과 약점을 파악하고, 과학기술혁신역량 강화를 위한 정책적 시사점을 제시하고자 하는 목적을 가지고 있다. 여기서 과학기술역량이란 국가가 과학기술 분야의 혁신 및 개선을 통해 최종단계에서경제적‧사회적으로 가치가 있는 성과를 창출할 수 있는 능력을 의미한다. 과학기술혁신역량평가는 NIS에 기초하여 투입 → 활동 → 성과에 이르는 전주기적 활동을 포괄적으로 점검하고 있다. 이는, 국가의 과학기술혁신역량이 구성요소 각각의 역량과 요소들 간 원활한 상호작용에 의해 결정된다는 시스템적 관점을 기초로 한다. 해당 평가를 바탕으로 과학기술혁신역량지수(COSTII, COmposite Science and Technology Innovation Index)를 개발하여, 평가모형을 통해 국가 과학기술혁신의 질적‧양적 역량을 종합적으로 진단하고 있다.

평가모형

국가 과학기술혁신역량평가 지표체계

외부링크

• 공식자료: 국가과학기술혁신역량평가 (과학기술기획평가원)

연혁

• ‘국가혁신평가지표’개발을 위한 연구수행 (2004년)
• 5개 부문(자원･활동･과정･환경･성과)으로 구성된 평가모형을 설계하여, 11개국을 대상으로 국가별 과학기술혁신역량에 대한 시계열 추이(ʼ88~ʼ02) 비교 및 분석을 시범실시 (2005년)
• 과학기술혁신역량지수를 개발하여 OECD 30개국을 대상으로 과학기술혁신역량 평가를 시행하고
• 그 결과를 국가과학기술위원회에 보고 (2006년 이후)
• ※ 근거 : ｢국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률｣ 제11조 (국가 과학기술혁신역량평가)
• 실시 5년차를 맞아 평가체계의 전반적 방법론 검토, 지표보완 및 최신 데이터 반영을 통해 5년치
• 순위 및 점수 업데이트 실시 (2010년)
• 과학기술혁신 환경의 변화에 발맞추어 변경 필요성이 제기된 세부지표를 검토하여 항목별로 적합한 지표 설정에 중점 (2014년)
• 데이터 가용성 등을 고려하여, OECD 신규 가입국을 과학기술혁신역량평가의 평가 대상국에 추가(2017년 34개국, 2018년 35개국, 2021년 36개국)
• COSTII 측정해상도 제고와 통계 해석능력 제고를 중심으로 평가지표를 개선하고, 보조지표를
• 추가하여 혁신현상에 대한 설명력 향상(매년)

국외사례

• 스위스: 국제경영개발원(IMD)은 1989년부터 매년 「IMD 세계 경쟁력 연감(World Competitiveness Yearbook)」을 발간하여 세계 주요국들의 경쟁력을 평가, IMD는 국가경쟁력을 포괄적이고 총체적인 개념으로 인식하고, 기업의 지속 가능한 성장, 일자리 창출, 국민 복지를 증진할 수 있는 환경을 제공하는 국가의 역량으로 봄, 매년 5월말 세계 경쟁력 연감을 통해 IMD는 세계 경쟁력 순위를 발표, 1989년 처음으로 조사를 시작할 당시에는 46개국을 대상으로 평가했으며 2019년에는 총 63개국으로 범위를 확대, IMD는 국제 경제에 대한 영향력과 국제 비교가 가능한 데이터의 이용가능성을 고려하여 대상국을 선정, IMD의 순위는 경제적 요소를 비롯해 비경제적 요소를 모두 포함하는 복합 지표를 통해 국가경쟁력을 포괄적으로 평가, IMD는 4개 부문에서 각 5개씩, 총 20항목에서 332개의 지표를 활용하여 국가경쟁력을 평가, 4개의 부문, 20개 항목에서 총 332개의 지표를 활용하여 국가경쟁력을 추산, 4개 부문은 경제적 성과(Economic Performance), 정부 효율(Government Efficiency), 기업 효율(Business Efficiency), 기반시설(Infrastructure)로 구성, 332개 지표는 143개의 정량지표와 92개의 설문지표로 구분되며 나머지 97개는 순위에 반영되진 않지만, 보조적인 기능을 하는 참고지표(background information)로 구성, 거시경제, 정부 및 기업 등의 부문을 구성하는 총 20개 하위 항목에 동일한 가중치를 부여함, 143개의 정량지표는 2/3의 가중치를 부여하고 92개의 설문지표는 1/3의 가중치를 부여해 지표별 차이를 둠, 과학기술역량은 기반시설(Infrastructure)의 하위 항목인 기술 기반시설(Technological Infrastructure)과 과학 기반시설(Scientific Infrastructure) 항목에서 평가
• 세계경제포럼(WEF): 지난 1979년부터 매년 전 세계 국가들의 경제성장과 경쟁력을 비교하기 위해 「Global Competitiveness Report」를 발간, WEF는 기업인, 경제학자, 정치인 등이 모여 국제경제에 대해 토론하고 연구하는 민간경제회의체임, 1971년 독일 경제학자인 클라우스 슈밥(Klaus Schwab)이 창립했으며, 스위스 다보스에서 개최된 첫 회의를 계기로 ‘다보스 포럼’이라고도 불림, 매년 9-10월, 전세계 국가 경쟁력을 평가하여 그 결과를 발표, 4차 산업혁명의 성공적인 번영과 금융위기의 위험을 줄이기 위해 4가지의 목표를 구성하고 4개 부문, 12개 항목에서 총 103개의 지표를 활용하여 국가경쟁력을 추산, 4가지 목표는 금융위기에 신속히 대응할 수 있는 탄력적인 경제 메커니즘 구축, 변화를 수용하면서 민첩하게 행동하는 경제, 새로운 기술과 아이디어가 등장할 수 있는 혁신생태계 조성, 인적 자본의 축적으로 구성, WEF의 세계경쟁력지수(Global Competitiveness Index: GCI) 4.0은 복합 지표로 한 국가의 경제부문과 더불어 비경제적인 부문까지 종합적으로 평가, 4개 부문(환경개선, 인적자원, 시장, 혁신생태계)과 12개 항목(제도, 기반시설, ICT 보급, 거시경제 안정성, 보건, 교육과 기술, 생산물시장, 노동시장, 금융 시스템, 시장규모, 기업 역동성, 혁신역량)에서 총 103개 지표를 통해 평가, WEF의 과학기술역량평가는 12개 항목 중 ICT 보급(ICT adoption)과 혁신역량(Innovation Capability)에 의해서 주로 평가, 정보통신기술(ICT)의 보급은 고도화된 현대사회에서 거래 비용을 절감하고 정보와 아이디어 교환을 가속하여 효율성을 높이는 등 모든 경제 전반에 필수적인 요소, ICT 보급 항목 지표로는 이동전화, 이동통신, 초고속 인터넷, 광케이블 가입자 수, 인터넷 사용자 비중으로 평가, 혁신역량 항목은 인력의 다양성, 혁신클러스터 발전 정도, 인구 백만 명당 국제공동 발명 건수, 이해관계자 간 협력, 과학 논문의 수, 인구 백만 명당 특허출원 건수, GDP 대비 R&D 투자, 연구기관 역량 지수, 소비자의 성숙도, 인구 백만 명당 상표출원 건수로 평가
• 유럽경영대학원(INSEAD): 2007년부터 매년 국가 단위의 혁신 수준을 조사‧평가해 왔으며, 2013년부터 INSEAD, 미국 코넬 대학교(Cornell University), 세계지식재산기구(World Intellectual Property Organization: WIPO)가 공동으로 혁신 지표를 개발하고 발표, 세계혁신지표(Global Innovation Index: GII)는 선진국과 개발도상국에 국가 성장의 기본인 혁신을 강조하고, 과거에 비해 확대된 혁신의 개념을 파악·측정하여 차세대 기업가들과 정책입안자에게 유용한 정보를 제공하는 것을 목표로 함, INSEAD의 GII는 유럽공동체(European Communities)와 경제협력개발기구(OECD)가 개발한 오슬로 매뉴얼(Oslo manual, 2018)에서 정의한 혁신의 개념을 채택, GII는 단순한 기술 혁신을 넘어 광범위한 혁신을 포착하기 위해 지속적인 지표 개선을 수행하며 특히, 지식집약 서비스 분야, 제도를 포함한 공공부문 혁신, 기업가정신과 벤처 캐피털에 대한 정책적 지원 및 국제적인 혁신 연계에 주목, GII는 혁신투입(Innovation Input)과 혁신산출(Innovation Output)로 구성되며 혁신투입과 혁신산출은 각 5개(제도, 인적 자본과 연구, 기반시설, 시장 성숙도, 기업 성숙도)와 2개(지식·기술 성과, 창조적 성과) 부문으로 나뉘며 각각 하위 3개의 항목에서의 총 80개 지표로 구성, 조사에 사용된 자료들은 World Bank, the UN Public Administration Network(UNPAN) 등 공신력 있는 기관의 자료들을 활용
• 한국: 과학기술정책연구원(STEPI)의 세계혁신스코어보드(Global Innovation Scoreboard: GIS)는 기존의 선형적 연구와는 다른 ‘생태계 관점’에서 포착한 과학기술혁신역량을 측정하여 국가 차원의 혁신역량을 평가, 태계를 구성하는 주체(대학, 공공연구기관, 기업)와 환경(조달, 시장, 조정), 이들의 상호작용으로 인한 특성(우위성, 다양성, 역동성)을 바탕으로 종합적인 모형을 구축, GIS의 지표체계는 생태계를 구성하는 다양한 주체와 이들을 둘러싼 환경, 상호작용으로 구성, 주체 부문은 실질적으로 과학기술혁신을 주도하는 대학, 연구기관, 기업으로 구성되며 환경 부문은 핵심인력, 기술, 자본 등의 조달과 시장 그리고 정책적인 효율성을 제고하는 조정으로 구분, 생태계의 특성은 우위성, 다양성, 역동성 부문으로 구분하며 지표를 작성, 우위성은 2개의 대분류(주체와 환경의 우위성), 6개의 중분류(대학, 공공 연구기관, 기업, 조달, 시장, 조정의 우위성)를 통해 총 24개의 세부지표를 합산하여 산출, 다양성은 생태계의 다양함을 측정해 지속가능성 정도를 파악하는 지수로 2개의 대분류(주체와 환경의 다양성), 6개의 중분류(대학, 공공 연구기관, 기업, 조달, 시장, 조정의 다양성)를 통해 총 9개의 세부지표를 합산하여 산출, 역동성은 전기와의 차이를 통해 향후 얼마나 생태계가 발전할 수 있는지에 대한 가능성을 측정한 지수로 2개의 대분류(주체와 환경의 역동성), 6개의 중분류(대학, 공공 연구기관, 기업, 조달, 시장, 조정의 역동성)로 구성하여 총 15개의 세부지표를 종합

연구동향

• 김인환과 최영훈(2002)의 연구는 최근 이론적으로나 실제적으로 지역의 재인식 분위기 속에서 한국 16개 시ㆍ도를 중심으로 한 과학기술역량을 시론적으로 평가하고자 하였다. 이러한 평가를 위해, 과학기술역량을 물리적 자본, 인적 자본, 조직적 자본으로 구분하였다. 본연구의 발견사실은 한국의 경우 지역간 과학기술역량의 차이는 물론 과학기술역랑의 구성요소 간에도 심한 괴리현상이 나타나고 있다는 점이다. 본 연구는 지역에 의한 과학기술진흥과 관련하여 밝은 면과 어두운 면을 모두 시사하고 있다. 밝은 면은 기반여건이 열악함에도 불구하고 재정적으로나 과학기술역량이 뒤쳐지는 지역에서 과학기술진흥에 대한 열의가 강하고 이를 체계적으로 뒷받침하려는 의지와 실천노력이 나타나고 있다는 점이다. 어두운 면은 지역단위의 과학기술역량의 현재의 상태가 지역 내부의 문제에 의해서가 아니라 외생적인 요인에 의해 형성되어 왔고, 이러한 측면에 대한 고려가 없는 중앙의 정책은 문제를 더욱 악화시킬 수도 있다는 점이다.
• 유의선(2007)의 연구는 20세기 후반의 세계의 경제성장이 인류의 주요 문제를 해결하지 못하였다. 세계화로 대표되는 오늘날의 자본주의 경제 하에서 환경성·사회성·경제성이 통합되는 지속가능발전(Sustainable Development)에 대한 요구가 점차 커지고 있다. 하지만 지속가능발전과 과학기술을 연결하는 연구가 부족한 실정이다. 기존의 국내외 지속가능발전 평가에서 과학기술 측면은 간과되거나 일부분에 그쳐 심층적 진단 및 분석이 미흡하였다. 본 연구는 우리의 과학기술이 지속가능발전에 이바지하도록, 과학기술의 지속가능발전 기여 역량을 평가하는 지표와 틀을 탐색한다. 지속가능발전과 과학기술의 관계를 조망하였다. 지속가능발전의 개념과 특징을 살펴보았으며, 지구 자연 및 사회경제 환경 변화와 지속가능발전 이슈를 정리하고 지속가능발전 기여 과학기술의 궤도도 추적하였다. 이어서 지속가능발전에 기여하는 과학기술의 지표 틀을 모색하는 동시에 국내외 지속가능발전 지표를 분석하고, 이를 바탕으로 지속가능발전 기여 과학기술의 지표 틀을 추구하였다. 본 연구는 지속가능발전과 과학기술의 연결을 체계적이고 논리적으로 수행하였다. 그러한 논리적 토대 위에 지속가능발전 이슈, 특히 우리나라의 이슈를 해결하기 위해서 어떤 기술들의 내용이 필요한 지 드러냈으며, 그 기술들의 역량평가 지표와주요 세부기술을 시안적으로 소개하였다. 본 연구의 지표 틀은 기술영향평가, R&D 자원배분에 활용하여 지속가능발전 기여 과학기술에 더 많은 자원이 배분될 수 있도록 조정할 수 있을 것이다. 국가 전략 측면에서는 지속가능발전의 주요 테마인 기후, 에너지, 수송, 국토, 자원 및 폐기물 관리를 통합하는 전략이 필요함을 제언하였다. 이어서 경로의 통합 전략 전략도 추천하였다. 지속가능발전의 핵심 경로인 분리(Decoupling), 혁신, 합리의 통합전략이다.
• 이정호 외(2010)의 연구 목적은 다양한 가중치 산정방법을 이론적 그리고 실증적으로 비교 및 분석함으로써 최적의 세부지표 가중치 산정방법을 제시하는 것이다. 이를 위해 본 연구에서는 가중치 산정방법을 지수산정기관 또는 연구자가 임의로 가중치를 산정하는 주관적 방법, 회귀분석, 요인분석 등의 통계분석모형을 이용하는 통계적 분석방법, 그리고 전문가들의 의사결정에서의 불확실성을 적절하게 고려할 수 있는 사회적 판단방법으로 구분하고, 이들 다양한 방법들의 논리적 타당성, 측정의 용이성, 가중치 산정 결과의 유사성 등을 비교 분석하였다. 본 연구의 분석결과는 지표간의 상대적 중요도를 가중치로 반영하는 방법 중에서 가중치 산정이 객관적이고 체계적이라고 판단되는 계층적 분석과정 또는 퍼지집합이론이 가장 우수한 것으로 나타났다. 그러나 계층적 분석과정의 경우 세부지표의 수가 많아지면 단순화된 계량방법을 사용한다고 하더라도 설문항목이 많아지는 경향이 있다. 이러한 단점을 해결하기 위해 다수의 세부지표를 단순화하는 방법을 병행하여 가중치 산정과정을 진행하는 것이 바람직하다고 판단된다. 다수의 세부지표를 소수의 유사지표군으로 단순화시키는 과정에서는 연구자 또는 전문가의 주관적 판단이나 요인분석을 적용하고, 소수의 유사지표군에 대해서는 계층적 분석과정이나 퍼지집합이론을 적용하여 세부지표의 가중치를 산정할 것을 제안한다.
• 전정환(2012)의 연구는 국가기술혁신역량 평가 모형의 개발에 대해 논의하였다. 국가과학기술경쟁력의 제고를 위해서는 국가과학기술역량의 수준에 대한 정확한 평가가 필요하다. 국제적으로는 IMD와 WEF, 국내적으로는 국가과학기술위원회 등에서 과학기술부문의 국가경쟁력을 평가하고 있지만 종합적이고 체계적인 분석은 미흡한 실정이다. 이에 본 연구에서는 Classification and Ranking Belief Simplex (CaRBS)를 활용한 국가과학기술역량 평가 모형을 제시하고자 한다. CaRBS는 Dempster-shafer의 이론에 근거하고 있으며, 분실된 데이터를 체계적으로 처리할 수 있고, 판단의 모호함까지 측정할 수 있는 장점이 있다. 또한 Simplex plot을 활용한 자료의 표현방법은 각 판단 기준들이 최종 평가에 어느 정도 영향을 미치는지를 도식화하여 보여줄 수 있다. 국가과학기술위원회의 조사결과를 바탕으로 OECD 30개국에 대한 사례연구를 수행하였으며, 본 연구에서 제안한 CaRBS기반의 평가 모형은 향후 국가과학기술역량의 평가에 유용하게 활용될 수 있을 것으로 기대된다.

참고문헌

• 양현채 외. (2019). 과학기술역량평가에서 국가경쟁력 향상을 위한 연구개발 역량 강화 방안 연구. 과학기술정보통신부 연구용역보고서.
• 김인환, & 최영훈. (2002). 지방정부의 과학기술역량 평가-광역자치단체를 중심으로. 현대사회와 행정, 12(1), 75-97.
• 유의선. (2007). 지속가능발전에 기여하는 과학기술의 역량평가 지표 틀 탐색. 정책자료, 1-175.
• 이정호, 류춘호, & 정태영. (2010). 국가과학기술혁신역량 평가지표의 가중치 산정방법에 관한 연구. 산업혁신연구, 26(3), 1-34.
• 전정환. (2012). 국가기술혁신역량 평가 모형의 개발. 대한산업공학회 춘계공동학술대회 논문집, 396-405.