Cmentarz został założony 4 listopada 1790 na działce podarowanej przez rodzinę Szymanowskich. Poświęcono go 20 maja 1792 w obecności króla i początkowo zajmował powierzchnię ok. 2,6 ha
W 1792 ukończono tam budowę kościoła św. Karola Boromeusza, ufundowanego przez duchowieństwo warszawskie, a zaprojektowanego przez Dominika Merliniego. Jeszcze przed poświęceniem cmentarza wystawiono tam również tzw. katakumby.
W 1812 roku miało miejsce pierwsze poszerzenie terenu cmentarza. Grunty przekazane zostały przez osobę z rodziny Korwin-Szymanowskich. Kolejne poszerzenie cmentarza miało miejsce w 1820 o grunty sprzedane przez Jakuba Łaszczyńskiego zajmujące obecne kwatery 27 i 34 oraz klin od nr 27 wprost do numeru 177 wprost. Kolejne poszerzenie cmentarza miało miejsce w 1830 roku. Zakupiono kolejne grunty od rodziny Łaszczyńskich (kwatery nr 28 Wprost 30 Wprost 32 Wprost i I-IV). W 1837 roku cmentarz został powiększony o kolejne 13 hektarów wzdłuż obecnej ulicy Tatarskiej i od ulicy Powązkowskiej do ulicy Ostroroga. Na zakupionych terenach znajdują się obecnie kwatery 47/48 do 63, od 71 do 104, od 83 do 104, od 83 do 123, od 105-112, od 113 do 115. W 1841 rozszerzono cmentarz o parcele majątku Ciszewskich znajdowały się na nich kwatery 162-176. Po kolejnej rozbudowie z 1844 roku cmentarz poszerzył się o kwatery od H do M, 43,44, 177-Q. Rok później na skutek regulacji drogi przez wojsko, cmentarz został poszerzony o tereny kwater 64-68 oraz N-U[6]. W latach 1851-1852 cmentarz powiększył się o tereny kupione od Józefy Graffowej i Marianny Ścisłowskiej. Kolejne poszerzenia cmentarza z lat 1864, 1865 i z 1871 roku zostały przeprowadzone przez Radę Administracyjną Królestwa Polskiego na zasadzie wywłaszczenia. W późniejszych latach na skutek kolejnych korekt ulic cmentarz osiągnął obecną powierzchnię 43 hektarów.
Po zniwelowaniu w 1875 wału Lubomirskiego i przeprowadzeniu w jego miejscu ulicy Okopowej w 1887 nekropolia została włączona w granice administracyjne Warszawy.
We wrześniu 1939 roku uszkodzone zostało 29 kwater. Niewyremontowane groby zostały przez zarząd cmentarza rozebrane. W 1942 roku na skutek nalotów radzieckich zostało uszkodzonych kilka kwater od strony ulicy Okopowej. Podczas okupacji znajdowały się tu podziemne arsenały broni. Podczas powstania warszawskiego Niemcy umieścili na jego terenie czołgi. Do 1970 trwała odbudowa katakumb, na skutek braku dokumentacji i zniszczeń wojennych nie wszystkie udało się odrestaurować i przywrócić na właściwe miejsce.
W 2012 runął ceglany mur oddzielający Stare Powązki od cmentarza żydowskiego; zniszczeniu uległo około 70 nagrobków.
W lipcu 2014 cmentarz, razem z pięcioma innymi nekropoliami tworzącymi zespół zabytkowych cmentarzy wyznaniowych na Powązkach, został uznany za pomnik historii.
Pochowani
Wśród pochowanych ok. 1 miliona osób znajduje się wiele znanych i zasłużonych osób, w tym żołnierze powstań narodowych od insurekcji kościuszkowskiej do powstania warszawskiego, działacze niepodległościowi, wybitni pisarze, poeci, uczeni, artyści, myśliciele, lekarze, prawnicy, politycy, sportowcy, duchowni. Część z nich spoczęła w założonej w 1925 Alei Zasłużonych. Po 1945 w budynku katakumb zorganizowano mauzoleum, gdzie złożono prochy zamordowanych w obozach koncentracyjnych.
