Pada tahun 1187 M, di bawah kepemimpinan Salah al-Din, kaum Muslim merebut kembali kota tersebut dan, yang membuat penduduk Kristen merasa lega, tidak terjadi pembunuhan balas dendam. Mereka yang hendak berangkat diperkenankan dengan segala harta bendanya, dan bagi yang hendak menetap diberikan jaminan perlindungan atas nyawa, harta benda, dan tempat ibadahnya. Sebelum berangkat untuk merebut kembali tanah Muslim, Salah al-Din menunjuk Diya al-Din Isa al-Hakkari sebagai gubernur dan pelindung kota.
Setelah itu, di bawah pemerintahan Mamluk dan Ottoman, Yerusalem dibangun kembali dan dipulihkan terutama oleh Sulaiman II (juga dikenal sebagai Sulaiman yang Agung), yang membangun tembok, gerbang, menara, dan saluran air untuk kota tersebut.
Karyanya yang paling menonjol adalah pekerjaan ubin indah yang ditugaskan untuk bagian luar Dome of the Rock. Dengan keterampilan tak tertandingi para ahli keramik Persia, 40.000 ubin dibakar dan dipasang pada tempatnya, dimahkotai dengan tulisan ayat-ayat Alquran. Mereka tetap ada sampai hari ini.
Pada tahun 1228 M, Perang Salib keenam mendarat di pantai Palestina dan, setahun kemudian berdasarkan perjanjian, kaisar Jerman, Frederick II, menobatkan dirinya sebagai raja Yerusalem. Lima belas tahun kemudian direbut kembali oleh tentara Mesir yang dipimpin oleh pasha (gubernur), Kharazmi. Wilayah ini dipegang oleh orang Mesir dalam menghadapi Perang Salib ketujuh hingga abad ke-15, ketika wilayah tersebut diserahkan ke tangan Turki Utsmaniyah.
Pada masa pemerintahan Utsmaniyah terdapat sejumlah kecil orang Yahudi namun signifikan di Palestina dan, pada abad ke-19, ketika keruntuhan Utsmaniyah, Yerusalem telah menjadi kota yang lebih terbuka. Peziarah Kristen bertambah dan gereja, rumah sakit, dan institusi lainnya dibangun.
Imigrasi Yahudi Eropa
Imigrasi Yahudi Eropa ke Yerusalem juga meningkat dan dipandang oleh beberapa kelompok sebagai hal yang penting bagi rencana induk yang dibuat oleh Zionis. Pada tahun 1900, orang-orang Yahudi merupakan komunitas terbesar di kota dan pemukiman yang diperluas di luar tembok Kota Tua.
