Header

UZH-Logo

Maintenance Infos

Do within-dimension ratings in assessment centers really lead to improved construct validity? A meta-analytic reassessment


Melchers, Klaus G; Henggeler, Crista; Kleinmann, Martin (2007). Do within-dimension ratings in assessment centers really lead to improved construct validity? A meta-analytic reassessment. Zeitschrift für Personalpsychologie, 6(4):141-149.

Abstract

In their metaanalysis on the construct validity of assessment centers (ACs), D. J. Woehr and W. Arthur Jr. (2003) found that within-dimension ratings of candidates' performance had better construct validity than within-exercise ratings. However, this finding conflicts with previous experimental studies. In these studies, comparable results were only obtained when the rating approach was confounded with other factors which are also likely to affect construct validity but which were not taken into account by Woehr and Arthur. In the present analysis, factors that are often associated with a within-dimension rating approach were identified. Most of these factors were also confounded with the rating approach in the studies from Woehr and Arthur's metaanalysis. Metaanalytic moderator analyses showed that the time at which assessors rated candidates, the exchange of information between assessors, and assessor rotation moderate AC construct validity. The effects of the rating approach can probably be attributed to these confounding factors.
In ihrer Metaanalyse zur Konstruktvalidität von Assessment Centern (ACs) fanden Woehr und Arthur (2003), dass eine dimensionsweise Beurteilungsmethode von AC-Teilnehmern zu einer besseren Konstruktvalidität führt als ein aufgabenweises Vorgehen. Dieser Befund steht jedoch im Widerspruch zu früheren experimentellen Studien. Dort waren vergleichbare Ergebnisse nur in Studien zu finden, in denen die Beurteilungsmethode mit anderen Faktoren konfundiert war, die mit hoher Wahrscheinlichkeit ebenfalls die Konstruktvalidität beeinflussen, die aber von Woehr und Arthur nicht berücksichtigt wurden. In der vorliegenden Untersuchung wurden Faktoren identifiziert, die häufig mit dimensionsweisen Beurteilungen einhergehen. Es zeigte sich, dass die meisten dieser Faktoren auch für die Studien aus Woehr und Arthurs Metaanalyse mit der Beurteilungsmethode konfundiert waren. Metaanalytische Moderatoranalysen zeigten, dass der Beurteilungszeitpunkt, der Austausch von Informationen zwischen den Beobachtern oder eine Rotation der Beobachter ebenso Moderatoren der Konstruktvalidität sind. Effekte der Beurteilungsmethode können sehr wahrscheinlich auf diese Faktoren zurückgeführt werden.

Abstract

In their metaanalysis on the construct validity of assessment centers (ACs), D. J. Woehr and W. Arthur Jr. (2003) found that within-dimension ratings of candidates' performance had better construct validity than within-exercise ratings. However, this finding conflicts with previous experimental studies. In these studies, comparable results were only obtained when the rating approach was confounded with other factors which are also likely to affect construct validity but which were not taken into account by Woehr and Arthur. In the present analysis, factors that are often associated with a within-dimension rating approach were identified. Most of these factors were also confounded with the rating approach in the studies from Woehr and Arthur's metaanalysis. Metaanalytic moderator analyses showed that the time at which assessors rated candidates, the exchange of information between assessors, and assessor rotation moderate AC construct validity. The effects of the rating approach can probably be attributed to these confounding factors.
In ihrer Metaanalyse zur Konstruktvalidität von Assessment Centern (ACs) fanden Woehr und Arthur (2003), dass eine dimensionsweise Beurteilungsmethode von AC-Teilnehmern zu einer besseren Konstruktvalidität führt als ein aufgabenweises Vorgehen. Dieser Befund steht jedoch im Widerspruch zu früheren experimentellen Studien. Dort waren vergleichbare Ergebnisse nur in Studien zu finden, in denen die Beurteilungsmethode mit anderen Faktoren konfundiert war, die mit hoher Wahrscheinlichkeit ebenfalls die Konstruktvalidität beeinflussen, die aber von Woehr und Arthur nicht berücksichtigt wurden. In der vorliegenden Untersuchung wurden Faktoren identifiziert, die häufig mit dimensionsweisen Beurteilungen einhergehen. Es zeigte sich, dass die meisten dieser Faktoren auch für die Studien aus Woehr und Arthurs Metaanalyse mit der Beurteilungsmethode konfundiert waren. Metaanalytische Moderatoranalysen zeigten, dass der Beurteilungszeitpunkt, der Austausch von Informationen zwischen den Beobachtern oder eine Rotation der Beobachter ebenso Moderatoren der Konstruktvalidität sind. Effekte der Beurteilungsmethode können sehr wahrscheinlich auf diese Faktoren zurückgeführt werden.

Statistics

Citations

10 citations in Web of Science®
11 citations in Scopus®
Google Scholar™

Altmetrics

Additional indexing

Item Type:Journal Article, refereed, original work
Communities & Collections:06 Faculty of Arts > Institute of Psychology
Dewey Decimal Classification:150 Psychology
Language:English
Date:2007
Deposited On:21 Jul 2014 15:04
Last Modified:05 Apr 2016 17:59
Publisher:Hogrefe & Huber
ISSN:1617-6391
Publisher DOI:https://doi.org/10.1026/1617-6391.6.4.141

Download

Full text not available from this repository.
View at publisher