Masjid Agung Rantauprapat terletak di jalan Ahmad Yani, tepat di samping jalan mesjid ujung (jika tolak ukur dari sirandorung)
Masjid ini dibangun sekitar tahun 1930 dengan status wakaf dari sebuah kerajaan Rantauprapat (Bilah). Walaupun corak dan tipe arsiteknya terlihat modern, tetapi sebenarnya masjid itu adalah tanah wakaf dari kerajaan masa
penjajahan Belanda.
Mengenang kebelakang, kerajaan Bilah diberi kuasa oleh penjajah untuk
melakukan pemungutan pajak kepada masyarakat agar mereka tetap dapat
membina hubungan harmonis dengan kerajaan-kerajaan yang ada di sekitar.
Pemangku kerajaan Bilah yang cukup dikenal setelah berhasil melakukan
pemungutan pajak memiliki inisiatif untuk mendirikan masjid sebagai
tempat beribadah kaum muslimin khususnya yang berada di Rantauprapat.
Dari sisa pungutan pajak (Balasting) di Labuhanbatu, kerajaan
akhirnya membangun empat buah masjid sekaligus yakni, Masjid Raya
Rantauprapat, Masjid Kualuh Hulu, Masjid Kota Pinang serta sebuah Masjid
di daerah pesisir pantai Labuhan Bilik, dengan bentuk dan ciri khas
yang hampir sama. Perkembangan pembangunan begitu pesatnya, Masjid Raya
ini sejak dahulunya tetap mempertahankan keaslian bangunannya. Ini
terlihat dari kubah masjid yang masih terbuat dari kayu yang sekaligus
menjadi langit-langitnya. Hanya saja ukurannya sedikit diperbesar.
Hiasan-hiasan kecil pada dinding masih jelas terlihat, mengingatkan
kepada rumah-rumah kerajaan melayu di kawasan Sumatera Utara.
Menara masjid yang terdiri dari tiga buah itu, satu berfungsi sebagai
menara utama yang paling tinggi posisinya berada di belakang. Sedang
dua lagi dipintu masuk masjid. Sementara pada pintu pagar juga terdapat
dua buah menara yang identik seperti bentuk masjid Raya Al-Maksum Medan.
Ditambah dengan cat warna kuning, yang identik dengan simbol suku
melayu, disertai balutan warna hijau pada bagian kubahnya.
Penasehat kenaziran Masjid Agung Rantauprapat Abdul Madjid Dalimunthe
menjelaskan, sejak kemerdekaan Republik Indonesia, masjid tersebut
masuk dalam pengawasan Departemen Agama (Depag), hingga kemudian nama
Masjid Raya dirubah menjadi Masjid Agung.
Halaman masjid yang luas menjadikan kenyamanan tersendiri
bagi orang yang sedang melintasi Jalan Lintas Sumatera.Banyak juga orang yang singgah untuk solat sejenak dari perjalanan mereka.
Masjid Agung juga ditempatkan sebagai salah satu masjid tertua di Rantauprapat.Halamannya yang luas, membuat para anak-anak dapat bermain riang.
