Ludwig spielte bereits als Kind Klavier und Orgel, studierte dann in Wien das Fach Klavier und Komposition. Seinen ersten Auftritt als Dirigent hatte er 1931 in Troppau; nach Stationen in Gablonz, Teplitz-Schönau und Oldenburg trat er 1939 eine Stelle als Erster Kapellmeister an der Staatsoper Wien an. Am 20. April 1942 ernannte ihn Adolf Hitler zum Staatskapellmeister. 1943 kam eine Tätigkeit als Dirigent an der Städtischen Oper Berlin hinzu. Während seiner Berliner Zeit entstand unter anderem 1944 eine Rundfunkaufnahme des Abu Hassan von Carl Maria von Weber. Nach dem Ende des Zweiten Weltkriegs wurde er im April 1946 von einem britischen Militärgericht zu eineinhalb Jahren Gefängnis mit Bewährung und einer Geldstrafe verurteilt, weil er im Fragebogen seine seit 1937 bestehende Mitgliedschaft in der NSDAP verschwiegen hatte. Nach einer Tätigkeit als Gastdirigent an der Städtischen Oper Berlin und der Berliner Staatsoper war Ludwig von 1951 bis 1971 Generalmusikdirektor an der Hamburgischen Staatsoper. Sein umfangreiches Repertoire umfasste Werke vom Barock bis zur Moderne, wobei er auch verschiedene Uraufführungen leitete, wie Der Prinz von Homburg von Hans Werner Henze (1960) oder Jacobowsky und der Oberst von Giselher Klebe (1965). Ludwig war auch international tätig und gastierte unter anderem 1952 beim Edinburgh Festival. 1959 dirigierte er beim Glyndebourne Festival den Rosenkavalier. Ferner gastierte er in Neapel, Buenos Aires, Montevideo und Santiago de Chile. Nach seinem erfolgreichen Hamburger Parsifal 1968[4] wurde er an die New Yorker Metropolitan Opera berufen, wo er 1970 den Parsifal dirigierte. Neben seiner Tätigkeit als Operndirigent leitete er Konzerte und spielte verschiedene Schalplatten ein, darunter die 4. und 9. Sinfonie von Gustav Mahler. 1958 wurde Leopold Ludwig in Hamburg mit der Johannes-Brahms-Medaille ausgezeichnet, 1968 verlieh ihm der Hamburger Senat den Titel Professor. Nach Beendigung seiner Dirigentenlaufbahn lebte Leopold Ludwig im Ruhestand in Lüneburg.