摘要：通过对学术产出的测量方法，包括数量测量、质量测量以及混合测量等进行全面梳理，以期在“双一流”建设的背景下，探讨科学有效的学术产出测量体系，对首都高校师资队伍绩效评价提出建议，下面我们就来说一说关于定量研究和定性研究的难点?我们一起去了解并探讨一下这个问题吧!
定量研究和定性研究的难点
摘要：通过对学术产出的测量方法，包括数量测量、质量测量以及混合测量等进行全面梳理，以期在“双一流”建设的背景下，探讨科学有效的学术产出测量体系，对首都高校师资队伍绩效评价提出建议。
关键词：“双一流”建设；学术产出；测量体系
“十三五” 时期是落实新时期首都城市战略定位、建设国际一流和谐宜居之都的关键时期。高等教育在坚持和强化首都核心功能上发挥着重要作用。同时，国务院颁布《统筹推进世界一流大学和一流学科建设总体方案》（以下简称《方案》）定调了未来我国高教发展的重心—“双一流”建设。因此，建成一批世界一流大学以及一流学科，已成为首都高教改革题中之义。从世界公认的大学排行榜来看，教师队伍在指标体系中占据重要地位，尤其是教师的学术产出。建设世界一流大学必须有一流的教师，必须有一流的学术产出，必须遵循世界上通用的大学教师评价考量体系，必须构建科学有效的学术产出测量体系。《方案》明确指出坚持以绩效为杠杆；强化目标管理，构建完善中国特色的世界一流大学和一流学科评价体系。近年来，随着新管理主义的渗透，高校运作已更加市场化，首都高校也纷纷开展以提高学术产出效率为目标的用人制度改革。在此改革进程中，理解并且准确测量学术产出成为核心议题之一。本文对学术产出测量方法进行梳理，以期在“双一流”建设背景下，探讨科学有效的学术产出测量体系以对首都高校学术产出绩效评价提出建议。
学术产出的概念内涵
学术产出内涵丰富，这与“学术”含义宽泛有关。梁启超先生认为：“学也者，观察事物而发明其真理者也；术也者，取所发明之真理而致诸用者也。”而目前所谈的“学术”多引自西方“Ａｃａｄｅｍｉｃ”一词，泛指高等教育和研究，即由受过专业训练的人在具备专业条件的环境中进行的探索。
国际学者对学术产出的研究颇丰。伯顿·克拉克认为大学是“知识的生产者、批发商和零售商”，是“建立在各种知识群基础上，并包含懂得如何运用这些知识群的各种不同集团”。各集团“发现、保存、提炼、传授和应用知识的工作组合形式”各异。高校学术产出包括“新知识、毕业生、或法学、或医学、或自然科学、或哲学领域中的各种服务”等。［１］在高校生产过程中，虽然学术职业者承担研究、教学及服务等角色，但多数文献将学术职业者个人的学术产出定义为学者的学术性出版物，如期刊论文、会议论文、专著、指导论文数、原始数据的搜集、研究资助、编辑工作、专利、实验设计、设计作品及社会评论工作等。较多国内学者研究大学作为科研团队的学术产出考核。有研究将高校团队考核分为团队整体考核和团队成员个人绩效考核指标体系。［２］有学者认为影响科研业绩评价的因素包括投入，产出，效益；其中产出主要包括承担项目、论文、论著、奖励、专利、成果转化等。［３］学术产出既可从院校或团队层面考量，也可从个体层面测算。本文讨论的测量方法对不同层面的学术产出均有一定应用空间。
学术产出的数量测量
学术产出数量测量是计算某段时间的学术发表情况。那么不同类型的产出权重如何界定？传统测量方法将不同类型的产出乘以相应产出的权重之后求和得到最后的产出水平。例如：凯韦克（Ｋｙｖｉｋ，１９８９）曾提出，每篇文章（１分）、学术类专著（２分～６分）、教科书（２分～４分）、编著（２分～３分）、译书（２分～３分），其中各类产出的浮动得分根据该类产出的页数多少调整。布拉克斯顿与图姆斯（Ｂｒａｘｔｏｎ，Ｔｏｏｍｂｓ，１９８２）提出“专家评议法”，即通过问卷咨询若干知名学者对不同类型产出权重打分而后取均值。某次专家评议结果显示：权重从高到低的产出分别为教科书（９．３分）、会议论文（８．９分）、学术刊物评论（８．８分）、列为课程阅读的书目（５．５分）、新闻等出版物上的文章（４．５分）、编著（４．２分）等。［４］
但是，传统方法的缺点是同一类型产出的权重对每位学者都是相同的，而学者内部及高校管理者对相同类型产出的重要性理解不同，易对指标信效度产生怀疑。因此，有些学者认为需构建多维度的产出得分，使不同学者的同类产出权重是浮动的，如基于数据包络分析原理发展而来的ＢＯＤ（Ｂｅｎｅｆｉｔ－ｏｆ－ｔｈｅ ｄｏｕｂｔ）模型。而数据包络分析法用于评价生产效率，首先找到处于前沿线（面）上的决策单位，认为该决策单位是最小化投入或最大化产出的单位，再测量其他决策单位距离前沿线的距离。据此，ＢＯＤ模型假定相比其他个体，某位学者在某类学术产出上的表现越好，那么这类产出在这位学者的权重体系中被赋予越高权重。［５］但是，ＢＯＤ模型的缺陷是容易受异常值影响。因此，如何对数据做分样本处理以消除异常值影响是ＢＯＤ模型改进的方向之一。［６］
学术产出的质量测量
质量测量包括同行评议以及引文分析。同行评议指若干专家对一位学者的产出的评价。但同行评议也存在两点不足：一是同行评议易受到被评议人个人魅力及学者所在工作单位的声望所影响。二是同行评议结果往往与学者的发表数量存在显著相关性，而不同评议人对不同类型发表的心理权重难以把握。即使是同类产出，评议人对其发表内容的心理权重也不同，以发表期刊为例，有些评议人侧重被评议人对知识的应用，而有些侧重被评议人的创新研究。［７］
相比同行评议，引文测量受到更多学者的关注。引文分析能较好地反映学者的研究认可，一位学者的文章引用次数越多，表明他为学术界贡献了越多的思想、概念、发现与方法。但是引文测量同时存在多处不足：一是不同学科的引用情况不同。学科部落的规模、生产周期等因素都将影响一篇文章的引用情况。乔纳森·科尔与斯蒂芬·科尔（Ｃｏｌｅ，Ｃｏｌｅ，１９７３）（以下简称科尔兄弟）认为，引文分析应当对每个学科领域分别统计并标准化。二是相比文章发表，文章引用存在滞后，引文数量与学者工作年限存在高相关性。［８］三是引文分析往往只计算第一作者，而年轻学者往往不是第一作者，即引文分析将低估年轻学者的产出质量。四是引文的作用参差不一，斯蒂芬·科尔（Ｃｏｌｅ，１９７５）的研究发现，默顿的经典文献Ｓｏｃｉａｌ Ｓｔｒｕｃｔｕｒｅ ａｎｄ Ａｎｏｍｉｅ在１９５０年—１９７２年间被引用共１２３次。其中，２４％的文献中，引文无实质性贡献；在１８％的文献中，引文为文章观点提供支持。［９］类似认为引文的作用不过“敷衍了事”的研究还有穆拉维斯克与穆鲁格山（Ｍｏｒａｖｃｓｉｋ，Ｍｕｒｕｇｅｓａｎ，１９７５）、丘宾与莫伊切（Ｃｈｕｂｉｎ，Ｍｏｉｔｒａ，１９７５）。［１０］ ［１１］
因此，有学者提出改进意见。穆拉维斯克与穆鲁格山提出应从以下四个方面辩证看待被引文章：第一，概念化或者操作化，被引文章为待发表文章提供了理论或概念框架，还是提供可行的分析工具？第二，用途化或形式化，被引文章是待发表文章真正需要的，还是仅仅因为两篇文章的关注点类似？第三，推进贡献或同义转化，被引文章是否为待发表文章提供改进空间？第四，赞同或反对，被引文章的观点是被认可的，还是被批判的？从文章发表时间上看，科尔兄弟提出引文加权的观点。以物理学为例，论文的半衰期不超过５年，即在某一特定年份内发表的论文中，至少有半数的引证出自前５年内发表的工作成果。因此，引文分析需考虑时间限制，即加权引证技术，对旧引证的加权比对新近引证加权大一些。但是，科尔兄弟将物理学家三年内的成果的加权引证数与未加权引证数对比后发现，两者存在极高相关性（相关系数达到０．９６），并因此认为，如果不采用加权方法，也不影响研究结论。［１２］
学术产出的混合测量
如何克服单一测量方法的不足、设计出混合测量方法一直是学术产出评价领域的难点。该方面最具代表性的是美国物理学家赫希（Ｈｉｒｓｃｈ）于２００５年提出的Ｈ指数。在某个科学家发表的所有论文中，有Ｈ篇论文至少被引用了Ｈ次，同时其余论文的引用次数都小于Ｈ时，该科学家 Ｈ指数值为Ｈ。［１３］相比其他测量，Ｈ指数有四方面优势：第一，简单易懂，适用于任何层面的评估；［１４］第二，鼓励学者发表高质量的论文；［１５］第三，对高被引论文和低被引论文均不敏感，论文数量上的增长对其不产生直接影响，一定程度遏制片面追求论文数量的不良倾向；［１６］第四，数据库收录错误不会对Ｈ指数产生较大影响，Ｈ指数具有一定弹性和恢复能力。［１７］鉴于以上优势，近年来，Ｈ指数的运用较为广泛。例如：研究人员的学术产出评价有高江勇（２０１５）对农林院校大学校长的学术影响力进行评估［１８］，崔建强等（２０１５）对体育研究界高影响力的５７位体育学者的Ｈ指数的计算［１９］。期刊评价方面有布劳恩（Ｂｒａｕｎ，２００５）对ＳＣＩ收录的６３种期刊的Ｈ指数计算，杜建杰、张桂东对图书馆学核心期刊的Ｈ指数实证研究等［２０］。在组织评价方面有陈万超、夏莹（２０１５）对近十年南京市高校图书馆科研产出及学术影响力的计量分析［２１］。此外，Ｈ指数还被应用于科学基金的评价（赵星等，２００９）［２２］、专利评价（官建成等，２００８）［２３］。
Ｈ指数在学术产出评价中仍存在诸多不足，金碧辉等将其总结为以下六点：第一，对从事科研时间较短的人员不利，因为他们的论文数量和被引次数相对较低；第二，不利于论文数量少但被引频次高的科学家；第三， Ｈ指数只升不降，无法反映学者研究活力的衰退情况；第四，缺乏灵敏度， Ｈ指数越大，上升所需时间越长， Ｈ指数可能常年不变；第五，缺乏区分度，大部分学者的Ｈ指数相近，对个体绩效评估缺乏效度；第六，不同学科间的Ｈ指数无法直接比较。［２４］此外，Ｈ指数对独著与合著一视同仁的做法也值得商榷。［２５］为此，大量研究聚焦于如何修正Ｈ指数以提高其测量效度，如埃格赫（Ｅｇｇｈｅ）提出ｇ指数以反映高被引论文对学术产出的贡献，金碧辉与鲁索（Ｒｏｕｓｓｅａｕ）提出Ａ指数、Ｒ指数以及ＡＲ指数以改善Ｈ指数的灵敏度、区分度等。［２６］
结语
在全球化浪潮中，各国高等教育体系有了越来越多的共同活动准则。虽然大学排名不能充分说明世界一流大学、一流学科的完整内涵，但这样的标准化评价使得大学主动向其靠拢。在“双一流”建设进程中，任何一所大学都将在一定程度上受到这些评价的影响。各国的情况不同，高等教育环境也不同，采用一味趋同的评价标准指导大学办学也是不科学的。如何在“双一流”建设背景下，借鉴世界先进经验，立足首都本土实际，建立更适应我国国情和首都自身特点的师资队伍学术产出考核评价体系，服务于建设世界一流大学和一流学科，是未来首都高等教育必须聚焦用力的方向。
本文梳理了学术产出的数量测量、质量测量以及混合测量。通过梳理发现，三类方法各有优势与不足：第一，数量测量优势在于覆盖了各种类型的学术产出，其计算结果能全面反映出学术产出水平，但是核心问题在于如何界定不同类别产出的权重。ＢＯＤ模型提出了浮动权重的分析思路，但ＢＯＤ方法易受异常值影响，结果较敏感。第二，质量测量包括同行评议与引文分析，关注学术产出的高质量部分，其计算结果更能体现个人、团体或组织的学术影响力。相比同行评议，引文分析受到更多关注，但是引文测量仍存在滞后性、不利于低谷年轻学者以及引文原因多样化等不足，并且引文分析更多运用于发表文章。第三，以Ｈ指数为代表的混合测量优势明显，兼顾学术产出的数量、质量两个维度，但仍存在不利于年轻的科研人员、低灵敏性、区分度等不足。此外，三种测量的共同问题在于学科间的可比性低。为此，有学者提出分学科进行学术产出评价，或者对每个学科领域分别统计后再标准化处理，或者对指标进行相应修正。但是，造成学科之间可比性低的根本原因还在于各学科在发展过程中所形成的学科文化差异。
综上，构建科学有效的首都高等教育学术产出测量体系应注意以下几个方面：第一，首都高等教育资源丰富，各高校办学定位、发展阶段均不同。不同类型的高校应结合自身特点侧重不同的测量方式或做不同的技术处理，切忌“一刀切”。例如：对市属应用型高校与部属研究型高校作为整体构建ＢＯＤ模型容易导致测量结果失效。第二，尊重学科文化对学术产出的影响，适当借鉴相关学科分类思路对不同类型的首都高校进行测量，首都高校内分学科进行产出测量。例如：采用数量测量时，将综合性大学与专科性大学区别测量；将物理、化学、药学、数学等学科与历史学、语言学、社会学、法学等学科区别测量。采用质量测量时，相比历史、社会、地理等学科，物理、生物化学等注重学术共同体交流、研究领域较为聚集的学科采用质量测量的效果更佳。（作者：王嘉颖，单位：北京教育科学研究院高等教育科学研究所）
参考文献：
［１］伯顿·Ｒ．克拉克．高等教育系统—学术组织的跨国研究［Ｍ］．王承绪，等，译．杭州：杭州大学出版社，１９９４：１７．
［２］姬焕芳．高校科研团队考核工作方法探微［Ｊ］．科技与创新管理，２０１０（３）：２８２－２８４．
［３］陈春花，杨映珊．科研团队运作管理［Ｍ］．北京：科学出版社，２００４：１－１０．
［４］Ｂｒａｘｔｏｎ， Ｊ ＆ Ｔｏｏｍｂｓ， Ｗ．． Ｆａｃｕｌｔｙ ｕｓｅｓ ｏｆ ｄｏｃｔｏｒａｌ ｔｒａｉｎｉｎｇ： ｃｏｎｓｉｄｅｒａｔｉｏｎ ｏｆ ａ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｔｈｅ ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ ｏｆ ｓｃｈｏｌａｒｌｙ ｅｆｆｏｒｔ ｆｒｏｍ ｒｅｓｅａｒｃｈ ａｃｔｉｖｉｔｙ［Ｊ］．Ｒｅｓｅａｒｃｈ ｉｎ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ，１９８２（３）：２６５－２８６．
［５］ Ｍｅｌｙｎ，Ｗ．，＆ Ｍｏｅｓｅｎ， Ｗ．．Ｔｏｗａｒｄｓ ａ ｓｙｎｔｈｅｔｉｃ ｉｎｄｉｃａｔｏｒ ｏｆ ｍａｃｒｏｅｃｏｎｏｍｉｃ ｐｅｒｆｏｒｍａｎｃｅ：Ｕｎｅｑｕａｌｗｅｉｇｈｔｉｎｇ ｗｈｅｎ ｌｉｍｉｔｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ａｖａｉｌａｂｌｅ［Ｒ］． Ｐｕｂｌｉｃ Ｅｃｏｎｏｍｉｃｓ Ｒｅｓｅａｒｃｈ Ｐａｐｅｒ １７． Ｌｅｕｖｅｎ： ＣＥＳ，ＫＵＬｅｕｖｅｎ，１９９１．
［６］Ｃａｚａｌｓ， Ｃ．， Ｆｌｏｒｅｎｓ， Ｊ． Ｐ．， ＆ Ｓｉｍａｒ， Ｌ．． Ｎｏｎｐａｒａｍｅｔｒｉｃ ｆｒｏｎｔｉｅｒ ｅｓｔｉｍａｔｉｏｎ： Ａ ｒｏｂｕｓｔ ａｐｐｒｏａｃｈ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｅｃｏｎｏｍｅｔｒｉｃｓ，２００２， １０６（１）， １－２５．
［７］Ｎｅｌｓｏｎ， Ｔ， Ｂｕｓｓ， Ａ ＆ Ｋａｔｚｋｏ， Ｍ． Ｒａｔｉｎｇ ｏｆ ｓｃｈｏｌａｒｌｙ ｊｏｕｒｎａｌ ｂｙ ｃｈａｉｒｐｅｒｓｏｎｓ ｉｎ ｔｈｅ ｓｏｃｉａｌ ｓｃｉｅｎｃｅｓ［Ｊ］． Ｒｅｓｅａｒｃｈ ｉｎ Ｈｉｇｈｅｒ Ｅｄｕｃａｔｉｏｎ， １９８３（１９）：４６９－４９７．
［８］Ｌｉｎｅ， Ｍ．． Ｃｉｔａｔｉｏｎ ｄｅｃａｙ ｏｆ ｓｃｉｅｎｔｉｆｉｃ ｐａｐｅｒｓ： ｖａｒｉａｔｉｏｎ ａｃｃｏｒｄｉｎｇ ｔｏ ｃｉｔａｔｉｏｎｓ Ｒｅｃｅｉｖｅｄ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ， １９８４（９）：９０－９１．
［９］Ｃｏｌｅ， Ｓ． Ｔｈｅ ｇｒｏｗｔｈ ｏｆ ｓｃｉｅｎｔｉｆｉｃ ｋｎｏｗｌｅｄｇｅ： Ｔｈｅｏｒｉｅｓ ｏｆ ｄｅｖｉａｎｃｅ ａｓ ａ ｃａｓｅ ｓｔｕｄｙ［Ｃ］．Ｌ． Ａ．Ｃｏｓｅｒ （Ｅｄ．）， Ｔｈｅ ｉｄｅａ ｏｆ ｓｏｃｉａｌ ｓｔｒｕｃｔｕｒｅ： Ｐａｐｅｒｓ ｉｎ ｈｏｎｏｒ ｏｆ Ｒｏｂｅｒｔ Ｋ． Ｍｅｒｔｏｎ． ＮｅｗＹｏｒｋ： Ｈａｒｃｏｕｒｔ Ｂｒａｃｅ Ｊｏｖａｎｏｖｉｃｈ， １９７５．
［１０］Ｍｏｒａｖｃｓｉｋ， Ｍ． Ｊ．， ＆ Ｍｕｍｇｅｓａｎ， Ｐ． Ｓｏｍｅ ｒｅｓｕｌｔｓ ｏｎ ｔｈｅ ｆｕｎｃｔｉｏｎ ａｎｄ ｑｕａｌｉｔｙ ｏｆ ｃｉｔａｔｉｏｎｓ［Ｊ］．Ｓｏｃｉａｌ Ｓｔｕｄｉｅｓ ｏｆ Ｓｃｉｅｎｃｅ， １９７５（５）： ８６－９２．
［１１］Ｃｈｕｂｉｎ， Ｄ． Ｅ．， ＆ Ｍｏｉｔｒａ， Ｄ． Ｃｏｎｔｅｎｔ ａｎａｌｙｓｉｓ ｏｆ ｒｅｆｅｒｅｎｃｅｓ： Ａｄｊｕｎｃｔ ｏｒ ａｌｔｅｒｎａｔｉｖｅ ｔｏ ｃｉｔａｔｉｏｎ ｃｏｕｎｔｉｎｇ？［Ｊ］． Ｓｏｃｉａｌ Ｓｔｕｄｉｅｓ ｏｆ Ｓｃｉｅｎｃｅ， １９７５（５）： ４２３－４４１．
［１２］Ｃｏｌｅ Ｒ， Ｃｏｌｅ Ｓ． Ｓｏｃｉａｌ ｓｔｒａｔｉｆｉｃａｔｉｏｎ ｉｎ ｓｃｉｅｎｃｅ［Ｍ］． Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｃａｇｏ Ｐｒｅｓｓ．１９７３．
［１３］［２４］ Ｈｉｒｓｃｈ ＪＥ ． Ａｎ ｉｎｄｅｘ ｔｏ ｑｕａｎｔｉｆｙ ａｎ ｉｎｄｉｖｉｄｕａｌ＇ｓ ｓｃｉｅｎｔｉｆｉｃ ｒｅｓｅａｒｃｈ ｏｕｔｐｕｔ ［Ｃ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ ｏｆ ｔｈｅ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ， ２００５，１０２（ ４６） ： １６５６９－１６５７２．
［１４］Ｇｌｎｚｅｌ Ｗ． Ｏｎ ｔｈｅ ｏｐｐｏｒｔｕｎｉｔｉｅｓ ａｎｄ ｌｉｍｉｔａｔｉｏｎｓ ｏｆ ｔｈｅ Ｈ－Ｉｎｄｅｘ ［Ｊ］．Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ，２００６，３５（１０）：１３９３－１３９９．
［１５］Ｅｇｇｈｅ Ｌ， Ｒｏｕｓｓｅａｕ ．Ａｎ ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ｔｈｅ ｈ－ｉｎｄｅｘ： ｔｈｅ ｇ－ｉｎｄｅｘ［ Ｊ］ ．ＩＳＳＩ Ｎｅｗｓｌｅｔｔｅｒ，２００６，２（１）：８－９．
［１６］金碧辉．科学家为自己设计了一项评价指标：ｈ指数［Ｊ］．科学观察，２００６，１（１）：８－９．
［１７］Ｖａｎｃｌａｙ Ｊ．Ｏｎ ｔｈｅ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｔｈｅ ｈ－ｉｎｄｅｘ［Ｊ］ ．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ，２００７，５８（１０）：１５４７－１５５０．
［１８］高江勇．农林院校大学校长学术影响力探析—基于我国３２所农林大学校长科技论文产出分析的视角［Ｊ］．高等农业教育．２０１５（８）１３－１７．
［１９］崔建强，刘文娟，李勇勤．ｈ指数在体育学者学术影响力评价中的应用及其相关性分析［Ｊ］．北京体育大学学报．２０１５（２）：４３－４７．
［２０］杜建杰，张桂东．Ｈ指数在图书馆学核心期刊评价中的实证研究［Ｊ］．中华医学图书情报杂志，２０１１（５）：６５－７２．
［２１］陈万超，夏莹．近十年南京市高校图书馆科研产出及学术影响力的计量分析［Ｊ］．上海高校图书情报工作研究，２０１５（２）：２８－３５．
［２２］赵星，高小强，何培．科学基金ｈ指数：基金论文成果数量与影响力的综合衡量［Ｊ］．中国科学基金．２００９（１）：１５－１８．
［２３］官建成，高霞，徐念龙．运用ｈ指数评价专利质量与国际比较［Ｊ］．科学学研究，２００８（５）：９３２－９３７．
［２５］Ｗａｎ ＪＫ， Ｈｕａ ＰＨ， Ｒｏｕｓｓｅａｕ Ｒ． Ｔｈｅ ｐｕｒｅ ｈ－ｉｎｄｅｘ： ｃａｌｃｕｌａｔｉｎｇ ａｎ ａｕｔｈｏｒ＇ｓ ｈ－ｉｎｄｅｘ ｂｙ ｔａｋｉｎｇ ｃｏ－ａｕｔｈｏｒｓ ｉｎｔｏ ａｃｃｏｕｎｔ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｏｍｅｔｒｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ， ２００７（２）：４－６．
［２６］金碧辉，Ｒｏｕｓｓｅａｕ Ｒｏｎａｌｄ．Ｒ指数、Ａ Ｒ指数： ｈ 指数功能扩展的补充指标［Ｊ］．科学观察， ２００７， ２（３）： １－８．
《北京教育》杂志
,
