Die eigentliche Geschichte des Krupp Krankenhauses begann im Sommer 1870, als Alfred Krupp in einem Arbeiterwohnheim ein provisorisches Krankenhaus für die Verwundeten des deutsch-französischen Krieges (1870/71) einrichtete. Zur gleichen Zeit veranlaßte er den Bau eines Baracken-Lazaretts mit 100 Betten in der Nähe seiner Gußstahlfabrik an der Hoffnungsstraße. 1872 erteilte die Königlich-Preußische Regierung der Firma Fried. Krupp die Konzession zum Betrieb eines Krankenhauses für die Arbeiter der Gußstahlfabrik in den Gebäuden des ehemaligen Lazaretts. Das aus dem Lazarett entstandene Krankenhaus für Werksangehörige, das seit 1886 auch Frauen und Kinder aufnahm, wurde medizintechnisch immer weiter verbessert und unter anderem mit Röntgenapparaten, einer chirurgischen Abteilung und einem Heilbad ausgestattet. 1920 wurden die Krankenhausgebäude an der Lazarettstraße mit den Erholungshäusern und dem Wöchnerinnenheim am Altenhof zu den "Kruppschen Krankenanstalten" zusammengefaßt und 1938 das Frauenerholungshaus am Altenhof in eine Frauenklinik umgewandelt. Im Jahre 1937 wurde an der Hoffnungsstraße ein neues Krankenhausverwaltungsgebäude gebaut, daß auch heute noch in Teilen (Torhaus) erhalten ist. Seit den 20er Jahren standen die Kruppschen Krankenanstalten auch Nicht-Kruppianern zur Verfügung.

Das Kriegsjahr 1944 brachte das Ende des Krupp Krankenhauses an der Lazarettstraße. Das von alliierten Bomben vollständig zerstörte Gebäude wurde nicht wiederaufgebaut. Die ehemaligen Erholungshäuser am Altenhof befanden sich jedoch in einem Zustand, der die Renovierung ermöglichte. Hier hatten die Kranken auch während des Krieges schon provisorische Aufnahme gefunden. Das Krankenhaus war und blieb jedoch ein Notbehelf und konnte mit wachsenden Patientenzahlen in den nächsten 20 Jahren den hygienischen und medizinischen Ansprüchen nicht mehr gerecht werden. Eine dauerhafte Lösung bot daher nur ein Neubau. Der letzte Inhaber der Firma Krupp, Alfried Krupp von Bohlen und Halbach, zog daraus die Konsequenzen und gab bereits 1963 den Auftrag zur Planung eines neuen Hauses.

Zunächst ruhten die Pläne für den Neubau des Krankenhauses nach dem Tod von Alfried Krupp von Bohlen und Halbach, doch 1969 beschloß das Kuratorium der Alfried Krupp von Bohlen und Halbach-Stiftung auf Initiative seines Vorsitzenden Berthold Beitz, einen Krankenhausneubau nach neuesten medizinischen Erkenntnissen auf dem Gelände am Altenhof zu errichten. 1971 wurden die Kruppschen Krankenanstalten aus der Trägerschaft des Unternehmens Krupp an die Alfried Krupp von Bohlen und Halbach-Stiftung überführt. Sie ist heute Alleingesellschafterin der Krankenhaus gGmbH.

Das neu erbaute, hochmoderne Alfried Krupp Krankenhaus nahm mit 560 Betten, 11 Klinischen Abteilungen und 794 Mitarbeitern am 20. August 1980 seinen Betrieb auf.