Pada masa awal-awal Islam, Rasulullah SAW memang pernah melarang ummat Islam berziarah ke kuburan, mengingat kondisi keimanan mereka pada saat itu yang masih lemah. Serta kondisi sosiologis masyarakat arab masa itu yang pola pikirnya masih didominasi dengan kemusyrikan dan kepercayaan kepada para dewa dan sesembahan. Rasulullah SAW mengkhawatirkan terjadinya kesalah pahaman ketika mereka mengunjungi kubur baik dalam berperilaku maupun dalam berdo'a. Akan tetapi Rasulullah kemudian memperbolehkan berziarah kubur. Demikian keterangan Rasulullah SAW dalam Sunan Turmudzi.  Dari Buraidah ia berkata bahwa Rasulullah SAW bersabda "Saya pernah melarang berziarah kubur. Tapi sekarang Muhammad telah diberi izin untuk berziarah ke makam ibunya. Maka sekarang berziarahlah..! karena hal itu dapat mengingatkan kamu kepada akhirat.” 

Demikianlah sebenarnya hukum dasar dibolehkannya ziarah kubur dengan illat (alasan) 'tazdkiratul akhirah' yaitu mengingatkan kita kepada akhirat. Oleh karena itu dibenarkan berziarah ke makam orang tua dan juga ke makam orang shalih dan para wali. Selama ziarah itu dapat mengingatkan kita kepada akhirat. Begitu pula ziarah ke makam para wali dan orang shaleh merupakan sebuah kebaikan yang dianjurkan, sebagaimana pendapat Ibnu Hajar al-Haytami dalam kitab 'Al-Fatawa al-Fiqhiyah al-Kubra'. Beliau ditanya tentang berziarah ke makam para wali pada waktu tertentu dengan melakukan perjalanan khusus ke makam mereka. Beliau menjawab, berziarah ke makam para wali adalah ibadah yang disunnahkan. Demikian pula perjalanan ke makam mereka. 

Adapun mengenai hikmah ziarah kubur Syaikh Nawawi al-Bantani telah menuliskannya dalam Nihayatuz Zain, "Disunnahkan untuk berziarah kubur, barang siapa yang menziarahi makam kedua orang tuanya atau salah satunya setiap hari um'at, maka Allah mengampuni dosa-dosanya dan dia dicatat sebagai anak yang taat dan berbakti kepada kedua orang tuanya". 

Demikianlah hikmah di balik ziarah kubur, betapa hal itu menjadi kesempatan bagi siapa saja yang merasa kurang dalam pengabdian kepada orang tua semasa hidupnya. Bahkan dalam keteragan seanjutnya masih dalam kitab Nihayatuz Zain diterangkan "barang siapa menziarahi kubur kedua orang tuanya setiap hari Jum'at pahalanya seperti ibadah haji".