Pada tahun 586 SM kuil ini jatuh ke tangan bangsa Babilonia dan kuil mereka dihancurkan oleh Nebukadnezar tetapi kemudian dibangun kembali. Alexander Agung juga merebut seluruh Palestina pada tahun 332 SM dan pada tahun-tahun berikutnya, Dinasti Ptolemaik Mesir dan Seleukus Suriah menguasai Yerusalem.
Menjelang abad ke-1, kota ini pernah menjadi ibu kota pemerintahan kerajaan Makabe di bawah Simon Maccabee, sebelum menyerah pada kekuasaan lama Romawi.
Selama era Romawi, kota Betlehem dekat Yerusalem menjadi saksi kelahiran Yesus Kristus, seorang nabi dalam Islam dan, dalam kepercayaan Kristen, anak Tuhan.
Yesus berkhotbah tentang pentingnya menyembah satu Tuhan di kota Nazareth dan Galilea tempat Dia tinggal.
Namun di Yerusalem dia diadili oleh pejabat Romawi Pontius Pilatus sebagai pemberontak dan nabi palsu.
Hukuman yang diterimanya adalah kematian, dan umat Kristiani percaya bahwa ia kemudian disalib. Tindakan ini menjadi pilar utama agama Kristen dan tempat penyalibannya (yang diduga) di Yerusalem menjadi situs tersuci dalam dunia Kristen.
Para pengikutnya berbondong-bondong ke situs tersebut untuk berziarah dan sebuah gereja, Gereja Makam Suci, dibangun di sekitarnya. Palestina yang alkitabiah menjadi tanah suci bagi umat Kristen.
Ibukota Romawi
Setelah Yerusalem ditaklukkan oleh Romawi, kota ini menjadi ibu kota dinasti Herodes yang memerintah di bawah arahan Roma. Pada tahun 70 M, kaisar Romawi Titus menghancurkan Kuil untuk menghukum dan mematahkan semangat orang-orang Yahudi yang memberontak terhadap pemerintahannya.
Pada tahun 135 M, kaisar Romawi Hadrian membangun kembali kota tersebut, memberinya tembok baru dan secara resmi menamai tanah tersebut sebagai Palestina, serta menamai kembali Yerusalem menjadi Aelia Capitolina untuk menghormati dewa pagannya, Jupiter.
