Multiple Comparisons in Variation of Care Research

Abstract

Research in hospital variation is important and currently very popular. However, due to the methods employed in such studies—namely, the retrospective mining of large datasets and the use of several alternative variation groupings—some results may be spurious. In this commentary, we perform an empirical analysis of the 50 most highly cited and the 50 most recent papers focusing on variation in medical care. Across these studies, we identify at least 13 unique groupings and could find no single instance where a medical practice was found not to vary. We go on to discuss one example of variation—statin use—in more detail to elucidate the tensions that these studies often create. Together, these results suggest that multiple hypothesis testing is a concern for variation research. Finally, we outline strategies to mitigate this concern.

RÉSUMÉ

La recherche sur la variation hospitalière est importante et actuellement très populaire. Toutefois, en raison des méthodes employées dans de telles études—notamment, l’extraction rétrospective de grands ensembles de données et l’utilisation de plusieurs groupe- ments de variation alternatifs—certains résultats peuvent être fautifs. Dans ce commentaire, nous effectuons une analyse empirique des 50 articles les plus citées et des 50 articles les plus récents se concentrant sur la variation dans les soins médicaux. Dans ces études, nous identifions au moins 13 groupements uniques, et ne pouvions trouver aucun cas où une pratique médicale ne variait pas. Nous discutons ensuite d’un exemple de variation—dans l’utilisation de statines—en plus de détails afin d’élucider les tensions que ces études suscitent souvent. Collectivement, ces résultats suggèrent que la mise à l’essai de multiples hypothèses est une préoccupation lors de la recherche sur la variation. Finalement, nous décrivons des stratégies pour atténuer cette préoccupation.