Article

Do hospital standardized mortality ratios measure patient safety? HSMRs in the Winnipeg Regional Health Authority.

Division of Research and Applied Learning, Winnipeg Regional Health Authority, Department of Community Health Sciences, University of Manitoba.
HealthcarePapers 02/2008; 8(4):8-24; discussion 69-75. DOI: 10.12927/hcpap.2008.19972
Source: PubMed

ABSTRACT The Canadian Institute for Health Information began publishing hospital standardized mortality ratio (HSMR) data for select Canadian hospitals in November 2007. This paper describes the experience of the Winnipeg Regional Health Authority in assessing the validity of the HSMR through statistical analysis, coding definitions and chart audits. We found a lack of empirical evidence supporting the use of the HSMR in measuring reductions in preventable deaths. We also found that limitations in standardization as well as differences in palliative care coding and place of death make inter-facility comparisons of HSMRs invalid. The results of our chart audit show that the HSMR is not a sensitive measure of adverse events as defined by "unexpected death" in the Canadian Adverse Events Study. It should not be viewed as an important indicator of patient safety or quality of care. We discuss the cumulative sum statistic as an alternative to the HSMR in monitoring in-hospital mortality.

2 Followers
 · 
194 Views
  • Source
    [Show abstract] [Hide abstract]
    ABSTRACT: The last two decades have seen an unprecedented growth in initiatives aimed to improve patient safety. For the most part, however, evidence of their impact remains controversial. At the same time, the healthcare industry has experienced an also unprecedented growth in the amount and variety of available electronic data. In this paper, we provide a review of the use of routinely collected electronic data in the identification, analysis and surveillance of temporal patterns of patient safety. Two important temporal patterns of the safety of hospitalised patients were identified and discussed: long-term trends related to changes in clinical practice and healthcare policy; and shorter term patterns related to variations in workforce and resources. We found that consistency in reporting is intrinsically related to availability of large-scale, fit-for-purpose data. Consistent reported trends of patient harms included an increase in the incidence of post-operative sepsis and a decrease in central-line associated bloodstream infections. Improvement in the treatment of specific diseases, such as cardiac conditions, has also been demonstrated. Linkage of hospital data with other datasets provides essential temporal information about errors, as well as information about unsuspected system deficiencies. It has played an important role in the measurement and analysis of the effects of off-hours hospital operation. Measuring temporal patterns of patient safety is still inadequate with electronic health records not yet playing an important role. Patient safety interventions should not be implemented without a strategy for continuous monitoring of their effect.
    01/2015; 3(Suppl 1 HISA Big Data in Biomedicine and Healthcare 2013 Con):S2. DOI:10.1186/2047-2501-3-S1-S2
  • Source
    [Show abstract] [Hide abstract]
    ABSTRACT: Voordat het gestandaardiseerd ziekenhuissterftecijfer HSMR kan worden gebruikt om ziekenhuizen te vergelijken en de kwaliteit van zorg te verbeteren, zijn aanpassingen nodig. Het is een veelbelovend instrument maar de huidige HSMR-sterftemaat corrigeert nog te weinig, concludeert Wim van den Bosch in onderzoek van het NIVEL en Santeon waarop hij 2 november promoveert aan VU medisch centrum. In 2010 zijn in Nederland de ‘ruwe’ ziekenhuissterftecijfers over 2009 gepubliceerd. Wat veel belangstelling opleverde van de politiek, de inspectie, de media en zorggebruikers. Maar de kwaliteit van ziekenhuizen onderling was met deze sterftecijfers niet te vergelijken omdat geen rekening wordt gehouden met verschillen in aandoening. Een ziekenhuis met uitsluitend kankerpatiënten zal hogere sterftecijfers hebben dan een regulier ziekenhuis. Ook andere patiëntenkenmerken, bijvoorbeeld leeftijd, kunnen verschillen in ziekenhuissterftecijfer opleveren. Ruwe sterftecijfers zijn daarom ongeschikt voor het meten van kwaliteitsverschillen. Voor een vergelijking moeten die sterftecijfers worden gecorrigeerd voor aandoening, leeftijd, enzovoort. Standaard sterftemaat In Engeland is zo’n gecorrigeerde sterftemaat ontwikkeld: de ‘hospital standardised mortality ratio’ (HSMR). IJkpunt is het landelijk gemiddelde van alle ziekenhuizen, dat op 100 wordt gesteld. Deze HSMR is op de Nederlandse sterftecijfers uit 2010 toegepast. De uitkomsten variëren van 65 (gunstig) tot 140 (ongunstig) en worden binnenkort openbaar gemaakt. Met de HSMR zijn overigens niet alleen ziekenhuizen te vergelijken maar ook groepen patiënten met dezelfde diagnose. Meetfouten Zes topklinische ziekenhuizen, verenigd onder de naam ‘Santeon’, hebben deze sterftemaat gebruikt als meetinstrument in programma’s om hun kwaliteit van zorg te verbeteren. Gaandeweg groeide echter de twijfel. Meetfouten leken meer invloed op de HSMR-scores te hebben dan kwaliteit van zorg. Ze onderzochten daarom de aard van de meetfouten en hoeveel invloed ze hadden op de scores. Aanmerkelijke verschillen in HSMR-scores bleken veroorzaakt te worden door variaties in ziekenhuisregistraties, heropnames, de ernst van de aandoening en risicovolle verrichtingen die maar in een beperkt aantal ziekenhuizen worden verricht. Bijvoorbeeld openhartoperaties. Factoren waarvoor de HSMR-sterftemaat niet corrigeert en die samenhangen met andere zaken dan kwaliteit. Ten onrechte slecht “De HSMR-versie uit 2010 corrigeert dus onvoldoende. Nu bestaat de kans dat goede en veilige ziekenhuizen ten onrechte slecht scoren. Voordat een gestandaardiseerd ziekenhuissterftecijfer effectief kan worden ingezet om ziekenhuizen te vergelijken en de kwaliteit van zorg te verbeteren, zijn nog aanpassingen nodig”, concludeert Van den Bosch en hij doet hiervoor aanbevelingen. “Zodra de HSMR is verbeterd staat de kwaliteit van het instrument openbaarmaking van ziekenhuissterftecijfers niet meer in de weg.” Wim van den Bosch is senior adviseur Kwaliteit en Verantwoording in het St. Antonius Ziekenhuis in Utrecht/Nieuwegein. Het onderzoek is geïnitieerd, gefaciliteerd en financieel ondersteund door Santeon, een groep van zes samenwerkende ziekenhuizen.
  • Source
    [Show abstract] [Hide abstract]
    ABSTRACT: Australian Health Ministers have endorsed the hospital standardised mortality ratio (HSMR) as a key indicator of quality and safety, and efforts are currently underway towards its national implementation. In the United Kingdom, Canada, the Netherlands and the United States, the HSMR has been used for several years within organisations to monitor performance and response to various quality and safety programs. In the UK and Canada, the HSMR is also publicly reported and used to compare performance between hospitals. The validity and reliability of the HSMR as a screening tool for distinguishing low-quality from high-quality hospitals remain in doubt, and it has not yet been proven that HSMR reporting necessarily leads to worthwhile improvement in quality of care and patient outcomes. Institutions may respond to an unfavourable HSMR by "gaming" administrative data and risk-adjustment models or implementing inappropriate changes to care. Despite its apparent low cost and ease of measurement, the HSMR is currently not "fit for purpose" as a screening tool for detecting low-quality hospitals and should not be used in making interhospital comparisons. It may be better suited to monitoring changes in outcomes over time within individual institutions.
    The Medical journal of Australia 06/2011; 194(12):645-8. · 3.79 Impact Factor