对法治状态的定量评价，可以为法治建设提供方向和技术指引。法治评估中所运用的量化方法科学与否，将直接影响评估结果的合理性、执行力及社会效果。为此，西南政法大学周祖成教授、杨慧琪博士生在《法学研究》2016年第3期发表论文《法治如何定量》对当前我国法治评估量化方法进行评述。

 

    【要点】：通过对几种典型的法治量化评估体系在数据搜集处理、权重设置、指数计算中的计量方法进行比对分析，可以发现当前实践与理论研究中，量化方法存在着整体局面复杂混乱、具体运用多有瑕疵、实施过程不公开、缺乏结果校验机制等问题。必须正视当下法治评估背后所隐藏的计量隐患，以社会实效为导向，探索和建构法治评估的方法论体系。

 

    一、问题的提出

 

    首先，重新审视法治评估。法治评估中所涉及的量化方法有哪些？如果法治评估中存在量化隐患，具体表现又如何？怎样在未来避免相关问题的发生？本文希望能够带着这些问题重新审视当下法治评估。从“量化”角度衡量、选取具有相应分析价值的典型体系，并对这些体系中的量化方法与量化过程做出梳理与评价，希望以此发现量化过程中可能存在的不足与值得改进之处。有鉴于此，我们选择了两类共计8个典型量化评估体系：

表1  本文涉及的典型量化评估体系分类及概况

分类	内容	主体	实施（公布）时间
实践 体系	余杭体系	政府支持	2007年至今
	昆明体系	政府支持	2010年至今
	上海体系	学者自拟	2011年、2014年
	北京体系Ⅰ	学者自拟	评价1997-2001年北京法治环境水平
理论 体系	江苏体系	政府制定	2015年试行及专家讨论稿
	北京体系Ⅱ	学者拟定	2007年出版专著说明
	社会主义法治综合评价	学者拟定	2009年以论文形式说明
	法治国情指数	学者拟定	2014年以论文形式说明

    其次，评估体系的理论与实践分野。

 

    第一，实践体系的中坚力量：政府支持类。其一，余杭体系：“法治余杭量化评估体系”。2006年浙江余杭提出用一个量化的指数来衡量余杭法治建设水平、评估余杭社会管理能力，从而使余杭成为了我国内地最早提出并运用法治指数评价体系的地区。整体上而言，余杭体系运作时间最长，指标建构较为完善，操作过程也较为成熟，社会及学界影响也很大，成为了我国法治评估体系的典型代表。其二，昆明体系：“法治昆明综合评价指标体系”。云南省昆明市在2010年发布了《法治昆明综合评价指标体系》，该体系是除余杭体系之外，现有实践经验最为丰富的评估体系，也具有一定的社会影响力与认知度。

表2昆明体系缩略概况

一级指标	二级指标	三级指标	权重
A法治的社会 环境综合指标	1社会安全	5项	7
	2市场安全	3项	6
	3社会廉治	1项	3
	4法律资源	3项	4
B法治的制度 环境综合指标	1依法执政	2项	6
	2民主政治	3项	6
	3规范立法	2项	6
	4依法行政	5项	23
	5公正司法	2项	10
	6法治宣传教育	2项	8
	7法律监督	2项	6
C法治的人文 环境综合指标	1公众评价性指标	1项	5
	2公众体验性指标	2项	10

 

    第二，实践体系的重要参照：学者自拟类。其一，上海体系：“上海法治建设指标体系”。上海法治建设指标体系由上海社科院法治市情研究中心课题组拟定，其前身是2011年开展的“上海法治建设满意度调研”。从量化角度来看，该体系严谨性、科学化程度较高，各指标权重纯粹由层次分析方法确定，最终通过系统的问卷调研方式求得了2014年度上海法治建设综合指数，颇具地方特色。但该体系仅运行年份很少，相关实践资料披露也较少，相较于余杭、昆明体系而言缺乏政府引导与有力支撑，具体前景未知。其二，北京体系Ⅰ：“城市法治环境评价体系”。“城市法治环境评价体系”是由中国人民公安大学王光教授带领课题组得出的研究成果，虽然研究年份较早，但其不仅注重对数据的量化处理，还开辟了综合运用权重确定方式的实践先例，具有较大的分析价值。但可惜的是该体系构造过于简单，同当下主流体系风格并不一致，并且也仅实际运行了一次，还是对以往多年份的法治环境做出量化考查，影响力、认知度较低。

表3 北京体系Ⅰ结构及权重情况（综合结果）

A	立法 A1（0.15）	执法与司法 A2（0.40）	投入 A3（0.20）	公民权利保障A4（0.25）
存量	法规、规章总量（万件） A11（0.63）	法院一审人均 年收案数 （万件/万人） A21（0.45）	人均年政法 经费数 （万元/万人）	信访案件总量 A41（0.11）
				人均年行政诉讼案件总量 （万件/万人）
	年制定、变更及废止法规、规章数     （万件） A12（0.37）		A31（0.40） 人均诉讼费 （万元/万人） A32（0.28）
				A42（0.32） 万人律师数 （人/万人） A43（0.30）
质量		法院二审改判、发回重审案件占收 案数比例（%） A22（0.15）
结构		法院年强制 执行案件数 （万件/万人） A23（0.16）		离婚率（%） A44（0.12）
		法院年申请强制执行案件数 （万件/万人） A24（0.11）
变动度		法院年收案数 增长率（%） A25（0.13）	政府法律经费 年增长率（%） A33（0.32）	行政诉讼案件 年增长率（%） A45（0.15）

 

    第三，理论体系的积极探索。其一，政府制定类：江苏体系。江苏体系构成较为复杂，该省份先是在2015年上半年出台了《法治江苏建设指标体系（试行）》，但随后并未开展相应的评估实践，而是在2015年下半年又召开了《江苏法治社会建设指标体系》专家讨论会，关于量化方面，会议表明需要在多方征询专家意见的基础上，确定最终指标体系和权重，建立定量评估模型，确定各项指标的权重百分比数值。其二，学者拟定类。北京体系Ⅱ：“北京市法治建设状况综合评估体系”。该体系由北京市法治建设状况综合评价指标体系研究课题组于2007年创设，虽然它选取的测评样本同样是北京地区，对于相关的指标属性和数据处理方法做出了充分的论证与说明，权重设置也考虑了层次分析法，但可惜的是该体系缺乏相关实践支撑。

表4 北京体系Ⅱ结构及权数分配情况

一级指标	工作职能指标 （W1=0.5732） 初拟权数58		社会状态指标 （W2=0.2798） 初拟权数28	发展潜力指标 （W3=0.1370） 初拟权数14
二级指标	民主政治建设（9）	普法宣传（5）	社会公正（8）	人力资源（4）
	立法（7）	法律服务（4）	社会秩序（7）	法律效益率（4）
	行政执法（7）	综合治理（6）	社会风气（7）	法律意识（6）
	司法（4）	法治建设组织 领导（5）	社会发展（6）
	法律监督（9）
三级指标	共计56项，其中仅有2项权数为2其余均为1		共计20项，其中6项权数为2	共计14项，权数均为1

 

    二、典型评估体系主要运用的量化方法

 

    第一，数据使用中的无量纲化处理。

 

    其一，现有体系数据来源与使用策略各异。依照数据提供主体的不同，我们可将法治评估涉及的相关数据区分为政府数据和民间数据两类，政府数据又可细分为统计数据和考评数据，虽然受到评估组织者的青睐，却往往难以令法治建设的最终受益者——民众满意。民间数据又可细分为公众调查数据和民间统计数据两类，民间数据虽然具有涉及面广、信息含量大的优势，同时却也存在“数据过于集中”的弊端。总体而言，目前政府数据在法治评估中仍旧占据了很大的比重，民间数据承担的多是辅助者的角色，并且较多集中出现在评估体系当中的公众评价层次。经过对比分析，可以对现有实践中的数据来源与使用情况做出如下归纳：

表5  典型体系数据来源及使用情况

分类	内容	政府数据	民间数据
实践 体系	余杭体系	间接使用	直接使用
	昆明体系	直接使用	直接使用
	上海体系	无	直接使用
	北京体系Ⅰ	直接使用	直接使用
理论 体系	江苏体系	*	直接使用
	北京体系Ⅱ	直接使用	直接使用
	社会主义法治综合评价	*	*
	法治国情指数	*	*

 

    其二，指标无量纲化处理过少。既然政府数据权威复杂、比重大却又性质各异，那么在具体实践中理应尽量都做到无量纲化，但专门开展过相关研究的体系仅有北京体系Ⅰ和北京体系Ⅱ，其他体系或是选择间接使用数据规避复杂处理环节，就是对该问题视而不见、未做回应。即便这两大体系进行了相关操作，但又由于体系自身影响力不足而未引起重视，具体的处理结果也未能在实践中得到良好检验。

 

    第二，赋权方法选择较为集中。权重代表了某项指标在评估体系内的重要性，反映了指标对评估结果的影响程度。经分析发现，当下评估主要青睐德尔菲法、层次分析法、均分法和直接赋值的方式，并且这些权重方案的应用程度也多有殊异。

表6 典型体系权重确定方案总览

分类	内容	均分法	德尔菲法	层次分析法	直接赋值法
实践 体系	余杭体系		√		√
	昆明体系				√
	上海体系			√
	北京体系Ⅰ		√	√
理论 体系	江苏体系				√
	北京体系Ⅱ			√	√
	社会主义法治综合评价	√	√
	法治国情指数	√

 

    其一，均分法：停留理论设想层面。我国几类实践体系中均未采用该方法，但从国际实践角度而言，由世界银行组织实施的“国家政策与制度评估项目”（简称CPIA）却使用了均分法。均分法简单便捷，但面对法治评估这类庞大、复杂的体系时，就难以凸显出体系中的各层次和具体指标重要程度之间的差异性，虽然我国有学者对其做出过设想，但实践中却鲜有尝试。

 

    其二，德尔菲法：影响最大、备受推崇却亟待完善。德尔菲法的关键词就是匿名协商，通过组织者和各位专家之间的单独联系，使每位专家尽可能独立、匿名提出判断意见，并经过多次征询，在专家参考他人匿名评价意见的结果上，取得专家组关于问题给出的一致意见。现今，在评估权重设置方面主要采取德尔菲法的是余杭体系，它分别召集了内部组、外部组、专家组三组评估专家团，通过征求专家组意见的形式，对评估体系内各指标权重值及得分值一同进行赋分。

表7 余杭体系评审组构成情况（2007-2012）

组别	人选来源	选拔方式	确定人数
内部组	地区党委、人大、政府、司法机关中直接参与法律工作的成员等	根据内部组名录库随机发送邀请函，依据回函有效状况及先后顺序确定	样本数目： 20人
外部组	不直接参与政法机关工作，但较为了解法律事务的群体代表	根据外部组名录库，随机发送邀请函，依据回函有效状况及先后顺序确定	样本数目： 20人
专家组	国内外有较高知名度的法学家	07-09年：专家实地评审、现场打分； 10-12年：寄送材料	10-19名，不同年份人选可能重叠

表8 余杭体系专家组德尔菲法赋分情况（2007-2012）

年份	项目	指标一	指标二	指标三	指标四	指标五	指标六	指标七	指标八	指标九
2007	权重	9.64	9.91	9.91	8.09	7.90	8.00	7.73	8.36	8.64
	得分	71.82	71. 73	72. 09	71. 55	71. 27	73. 64	70. 64	72. 64	69. 09
2008	权重	*	*	*	*	*	*	*	*	*
	得分	72.77	72. 46	70. 85	71. 46	73. 23	71. 92	72. 08	71. 08	70. 15
2009	权重	*	*	*	*	*	*	*	*	*
	得分	70.00	72. 13	69. 00	69. 88	71. 13	67. 13	69. 00	70. 25	69. 63
2010	权重	9.50	9.40	9.15	7.13	7.13	7.75	7.38	7.63	7.81
	得分	74.38	71. 25	70. 63	72. 00	71. 50	71. 13	71. 75	74. 63	70. 75
2011	权重	*	*	*	*	*	*	*	*	*
	得分	76.22	75. 56	76. 11	77. 67	76. 56	74. 00	75. 56	76. 00	74. 00
2012	权重	*	*	*	*	*	*	*	*	*
	得分	75.89	76. 78	75.00	76. 22	77.00	77. 11	74. 78	77. 78	74. 22

   

    虽然余杭体系声称其在指标设计与权重分配环节运用的均是“德尔菲法”，但其实这主要是种简化的德尔菲法环节运用。首先，德尔菲法的多轮征询在余杭实践中并未得到实现。其次，针对收集到的初步信息，余杭体系选择了去掉一个最高数值和最低数值之后再求出平均值的做法。这种计算平均数未必能够得出令人信服的结果。最后，在计算最终结果时，面对内部组、外部组、专家组、群众问卷调查四类不同评估主体给出的不同得分，余杭体系却又选择了直接赋值方法去分配权重，这一做法不仅和评估体系整体的方法论要求不符，也显得尤为突兀，评估组织者也并未对缘何做出权重分配比例给出科学合理的解释。

 

    其三，层次分析法：量化程度、技术要求、应用难度均属最高。层次分析法（简称AHP）是将复杂的问题条理化、系统化、清晰化，尤其适合一些层次较多、体系庞大复杂、需要引入较多主观判断的评估对象。因为涉及到数学建模与构造矩阵，AHP已成为评价精度、技术要求、应用难度均属最高的备选方案。但这种定位并不必然意味着它就是最优选择：首先，在涉及的指标较多时，AHP的标度工作量十分巨大，容易造成法学评估专家的判断失误与混乱；其次，该方法对于标度专家的数量和质量重视不够，检验矩阵的标准也多关注数值的一致性而非合理性；最后，对于刚刚接触到量化工具的法学实践界而言，应用技术要求较高，难以高质量转化为实践。

图1 层次分析法实施流程图

 

    其四，直接赋值：简便易行却解释力差。除了前述常用的几种统计学方法之外，现有地方实践中还经常采用直接赋值方式。对于直接赋值法而言，现有实践并未对其有效性、可信度等选用理由给出科学说明，我们既不了解权重如此设置的理由，也不了解权重具体得出的过程，总体而言该方法说服力较差，不建议使用。

表9 《法治江苏建设指标体系（试行）》一级指标权重设置

指 标	地方科学民主立法	法治政府建设	公正廉洁司法	法治宣传教育	社会治理法治化	法治队伍建设	法治建设组织领导
权重	9%	18%	16%	10%	15%	8%	16%

 

    第三，运算规则选择一致又多有变通。现有评估体系在计算最终结果时都基本都采取了加权求和法，但在具体运用方面又根据评估体系状况各做了变通，归纳后大致有以下几类：

表10典型量化实践体系计算方案总览

主体区分	内容	典型加权求和	借助均值法	计算软件
政府支持	余杭体系		√
	昆明体系	√
学者自拟	北京体系Ⅰ	√		√
	上海体系	√		√

    其一，典型加权求和法最为直观。一般而言，在权重过程中采用AHP的评估体系，在计算结果时多会选择直接运用加权求和法，上海体系就是典型代表。除此之外，一些采用直接赋值法和均分法的评估体系，由于权重值已被明确给定，故仅需要对相关指标数据进行处理后，便可采用加权求和公式计算出最终结果，也可看作是加权求和法的典型应用。

 

    其二，引入均值法配合简化德尔菲法。引入均值法计算评估结果的方式由余杭体系首创。这种方式较好的配合了专家意见并不趋同的现实，但却有些为计算而计算的倾向，期待组织者针对为何引入均值法而不进行多轮征询取得一致意见，做出科学的解释。

 

    其三，利用评估软件简化计算过程。北京体系Ⅰ开发出了相应的评估软件，并将其运用于具体数据处理及计算的地区，希望以此实现评估体系的长效、多地运行。一方面，这种做法十分科学便捷高效，不仅提高了结果的准确性，更是为评估系统的长期运用打下了良好的基础；但另一方面，由于开发时间较早，这一软件也存在很多需要完善之处，例如该软件仅能提供最终结果计算和数据查询功能，具体数据比较、多年结果比较等重要后续功能还有待进一步开发。

 

    三、量化方法运用中凸显的问题

 

    通过分析当前理论与实践中存在的具体量化方法，我们认为，作为法治评估方法最具特色也是最为核心的部分，当下的法治评估量化工作中大致存在以下共性问题，或者说，存在一些需要在未来进一步完善的地方。

 

    第一，整体局面复杂混乱。由表5、6、10可知，法治评估量化方法内部蕴涵了多种可能与组合，并且，随着各地法治评估活动竞争式地相继开展，法治定量方法论极有可能在理论与实践层面出现创新发展。这一方面体现出法治量化方法运用中的复杂、混乱局面，另一方面也带来了一系列追问：每种量化方法科学与否？选择一种量化方法的理由为何？采用不同方法得出的结果之间是否具有可比性？等等。以北京体系Ⅰ为例，同样的专家组面对相同的评价指标，采用不同方法却得出了差异极大的权重结果。

表11 北京体系Ⅰ权重方案分配比较

A	A H P 法	A1 0.07	A2 0.28	A3 0.06	A4 0.59	专 家 直 观 综 合 法	A1 0.27	A2 0.43	A3 0.12	A4 0.18
存量		A11 0.63 A12 0.37	A21 0.63	A31 0.10 A32 0.64	A41 0.11 A42 0.32 A43 0.18		A11 0.69 A12 0.31	A21 0.38	A31 0.40 A32 0.28	A41 0.20 A42 0.23 A43 0.31
质量			A22 0.09					A22 0.20
结构			A23 0.06 A24 0.04		A44 0.13			A23 0.16 A24 0.11		A44 0.11
变动度			A25 0.18	A33 0.26	A45 0.26			A25 0.15	A33 0.32	A45 0.15

 

    第二，具体应用多存在瑕疵。现有量化方法在实际运用过程中也存在瑕疵。以当中运用较为成熟的余杭体系为例：首先，虽然组织者声明主要采取的是德尔菲法，但对于缺乏有效意见收敛的单论征询结果而言，其科学程度本身就值得商榷。其次，德尔菲法在运用中需要进行较多的数据处理，专家积极程度、专家权威系数、变异系数、协调系数等等都是需要组织者做出的基本反馈，现有资料中并未对此做出过任何说明。再次，对数据的处理并不慎重，对于法治评估这项测量性工作来说，误差的存在是不可避免的。但在余杭实践中，对于未能收到的回复信件和存在部分数据信息遗漏的评分信件，评估组织者都统一采取了删除有误样本的处理方式，这种直接减少样本数量的方式看似简单，却可能造成更大测量误差。

 

    第三，实际过程缺乏公开。当前仅有余杭、北京、上海地区针对法治的量化过程做出过不同程度的信息公开。除此之外，其他地区对于相关量化方法、量化过程都仅有一笔带过性的解释，更遑论对相关数据进行完善说明与分析了。

 

    第四，缺少结果论证机制。法治评估的结果是否科学可信，是各大评估体系必须予以回答的首要问题，但现有典型实践体系均未对该问题给出令人信服的解答。一般认为，对评估体系进行科学审查需要关注信度和效度两大技术性指标。虽然几类典型评估体系并未就该问题给出过相应的说明，但有学者曾利用余杭体系公布的数据小范围内检测了信度状况，得出了该体系相关信度值不高的结论，值得我们反思。另一方面，目前学界对于法治评估指标体系的效度检测还未有涉及，这也再次证明了当下法治量化结果论证机制的缺失，使得法治评估活动的科学性与严谨性亟待提高。

 

    四、完善法治量化的可行性路径

 

    建构法治量化方法论体系需要具备多学科的知识储备、积累丰富的实践经验，也必然将是一项长期且缓慢的任务。我们虽然很难在有限的篇幅内对该体系做出宏大完善的构想，却可以从解决现实隐患入手，针对如何避免类似问题的重复出现，提供几点可行性建议以供探讨：

 

    第一，理论研究中对定量问题给予更多关注，凸显量化方法的重要地位。这是因为，一方面，法治作为社会因素的存在状态是可以量化的，以法治指数为代表的法治评估本质上就是一套量化数据的综合展现，能够对法治建设起到评价和指引作用，对实践具有重要意义。另一方面，对于量化方法的强调又源自于现今法治评估领域的研究现状：有关法治评估的定性研究层出不穷却难有突破，相反，较为技术性的定量研究却备受冷待。在完善法治量化的过程中，确立定量方法的主导地位，是对法治评估自身特性与研究态势的双重回应。

 

    第二，培育综合评估机制，激发量化法治的社会活力。当下法治评估基本模式的不同，也是造成法治量化整体局面复杂混乱的原因之一。现今主要存在三种不同的法治评估推进模式：政府实际操作的内部型评估、第三方独立操作的外部型评估、政府发起委托第三方开展的综合型评估。其中，内部型评估更侧重于考核，虽然推行阻力较小且容易制定规范化标准，但却在公信力与说服力方面留有缺憾；外部型评估则因其专业性与大众化，在民众中具有较大的信服力与亲和力，较为科学且容易被公众接纳，但这种模式评估权威性又会大大折扣，并且评估结果难以进入决策层面，缺乏执行力；综合型评估则能够扬长避短，兼采二者之长，收到了诸多学者认同。

 

    第三，推动法治评估的整体理性化公开，以打破现有的评估量化封闭格局。法治评估无疑需要极大提升其公开程度，但从量化角度考虑，我们需要的并不是一刀切式的全盘信息公布，而是一种理性整全公开，这种公开包含了评估过程与评估结果两大板块，并需要根据不同的角色立场做出区别要求。为了便于理解，我们可以将法治评估涉及的角色大致区分为两类：推动者与接纳者。推动者主要包括了评估组织者与信息提供者，结合主流实践状况来看，前者主要是组织评估的科研院所、高校等，后者则主要针对掌握大部分权威数据的政府机构或一些民间统计调查组织。接纳者是指法治评估活动的受众群体，主要有决策者、学界研究人员、普通民众三类。评估结果的公开则主要从接纳者角度考虑，在全面公开的基础上，合理考虑不同受众的接纳需求，做到详略得当、有的放矢，最大程度地提升评估结果的实际效益。

 

    第四，破解现有评估的单线性局面，通过多维互动建构反馈与修正机制。破解法治量化评估的单线局面，需要在当下尚未就法治量化形成科学化、体系化认识的阶段，尝试引入评估结果的反馈机制。这种反馈主要针对的是政府机构这一主要的被评估者，并且，为了最大限度保留社会评价机制的中立优势，被评估者仅能在评估结果公布后进行反馈。

    为了避免类似量化问题的再次发生，加强量化理论研究，科学对待定量问题是我们需要做到的前提性应对，在进行了充分深入研究，能够将跨学科的量化方法同法治评估良好结合之后，再选用综合评估模式，充分调动社会力量践行评估活动，并将得出评估结果依循理性化方式公开，以便于接受同行评议、政府反馈与民众质疑，再从评议、反馈与疑问中发现法治评估的不足之处，从而能够有针对性地改进法治评估体系，丰富法治量化理论与实践研究成果。自此，完善法治量化就成为一条线索，串联起了法治评估的整个流程与所有相关主体，成为了提升法治评估实践生命力、公信力与执行力的重要突破点。