中华人民共和国成立后,党和政府决定在先烈殉难处南京雨花台兴建烈士陵园。1949年12月12日,南京市第一届第二次人民代表会议作出建设雨花台烈士陵园的决议。1950年建起了奠基纪念碑,在烈士殉难处建立了纪念性标志。
80年代起,陵园的建设进入新时期。1980年起向全国各地征集纪念碑设计方案。1983年6月,邓小平亲笔为纪念碑、纪念馆题名。次年4月,纪念碑、纪念馆等新建工程全面启动。