Am 5. Februar 1976 schenkte das Ehepaar Ludwig der Stadt Köln 350 Werke moderner Kunst aus ihrer Kunstsammlung und legte damit den Grundstein für das Museum Ludwig, das die Kunst nach 1900 beherbergen sollte. 1986 eröffnete das ‚Doppelmuseum‘, das sowohl das Wallraf-Richartz-Museum als auch das Museum Ludwig aufnahm, aber bereits 1994 entschied man sich für eine räumliche Trennung der beiden Institute. Neben der außerhalb der USA umfassendsten Sammlung amerikanischer Pop Art, gelangten durch Ludwigs Schenkung ausgesprochen qualitätsvolle Arbeiten der Russischen Avantgarde aus der Zeit zwischen 1905 und 1935 in das Museum.1994 kamen 90, 2001 weitere 774 Werke aus ihrem Picasso-Besitz hinzu. Damit verfügt das Museum Ludwig nach Barcelona und Paris über die drittgrößte Picasso-Sammlung weltweit. Heute umfasst die Sammlung Ludwig die wichtigsten Positionen der Kunst des 20. Jahrhunderts und der Gegenwartskunst.
Den Grundstock der Sammlung Ludwig legte unwissentlich der Kölner Jurist Dr. Josef Haubrich. Er schenkte 1946 der Stadt Köln seine bedeutende Kollektion von Werken des Expressionismus und anderer Vertreter der Klassischen Moderne. Diese Schenkung ging später in den Bestand des Museum Ludwig über.
Seit 2000 engagiert sich das Museum Ludwig in besonderer Weise für die Sammlung und Präsentation technischer Medien im Kontext zeitgenössischer Kunst. Seit 2001 wurde die Sammlung im Bereich der zeitgenössischen Kunst um wesentliche Werke und ganze Werkgruppen ergänzt und zählt heute mit einem Bestand von annähernd 60.580 Werken zu den bedeutendsten Museen für moderne und zeitgenössische Kunst in Europa.
