Der aus Frankfurt stammende Schriftsteller und Dichter machte sich hauptsächlich mit seiner Frankfurter Mundartdichtung einen Namen. Neben seiner schriftstellerischen Tätigkeit war er als Journalist und Verleger aktiv, in deren Funktion er für die nationale Einigung Deutschlands sowie für ein demokratisches und republikanisches Staatswesen eintrat. Obwohl sein literarisches Hauptschaffen auf politischen Schriften beruht, ist Stoltze insbesondere durch seine Mundartdichtungen in Erinnerung geblieben. Sein Hauptwerk ist die satirische Wochenzeitschrift „Frankfurter Latern“, die er von 1860 bis 1891 herausgab.