17 ноября 1771 года по указу, принятому  Сенатом, было запрещено хоронить людей при храмах и в самом городе, а все кладбища переносились за его черту.

В Нижнем Новгороде место для общегородского кладбища выбрали за Варварской заставой.

Сначала возвели часовню, а позже, уже в  1776 году началась подготовка  для строительства каменного храма.

В это же время вступил в силу новый городской план, в следствие чего был снесен храм Петра и Павла.

Среди прихожан снесенной церкви были братья-купцы  Аверьян, Евдоким и Егор Неудавины, которые обратились к архитектору Якову Ананьину с просьбой создать проект Петропавловского храма на месте будущей кладбищенской церкви.

В 1780 году каменные работы были закончены. В 1781-м завершилась отделка части интерьеров, после чего был освящен придел в честь равноапостольных царей Константина и Елены, а в 1783 году — второй придел в честь святых Василия Парийского и Петра Александрийского.

Главный престол был освящен только  в 1785 году нижегородским епископом Дамаскиным в честь первоверховных апостолов Петра и Павла. Как большинство кладбищенских храмов, в обиходе  храм Петра и Павла стали называть  Всехсвятским, по главному же престолу — Петропавловским.

Иконостас в храме  золоченый, величественных размеров и уникален по своей архитектуре.

Так же оригинальна архитектура храма, что позволяет с уверенностью сказать, что Всехсвятская церковь остается сегодня единственным памятником русского барокко Нижнего Новгорода середины XVIII столетия.

На территории кладбища, которое находилось рядом с храмом, было две часовни. Первую, деревянную построили около 1855 года, а в  1867 году ее заменили каменной. Она стояла напротив главного алтаря храма, в ней совершались панихиды по безродным, странникам, погребаемым из больниц и тюрем, могилы которых от времени затерялись. В часовне на краткое время ставили гробы с умершими. Вторая часовня была устроена около входных ворот кладбища.

На Петропавловском кладбище много знаковых захоронений : здесь похоронен великий русский механик-самоучка Иван Петрович Кулибин. Там же похоронили и бабушку Алексея Максимовича Горького Анну Каширину.

В конце 1930-х годов, как и по всей стране,  храм был закрыт.

В советское время в нем находился кинотеатр, часть  здания была отдана под квартиры, была обустроена танцплощадка, , бильярд и другие развлечения.

В настоящее время в храме проводятся ремонтно-восстановительные и реставрационные работы.