Sebelumnya, para pelopor pembangunan masjid berpikir bahwa masjid itu akan lebih baik apabila dibangun di tempat yang strategis.
Baca Juga : Pesan Makanan Secara Online, Wanita Ini Nyaris Muntah Temukan 40 Kecoak di Dalam Sup Bebeknya
Persisnya di perempatan yang ada di tengah-tengah Kampung Jogokariyan.
Meski begitu, rencana ini sempat mau gagal, lantaran tanah yang ada di situ sudah dimiliki orang lain.
Tapi setelah melalukan beberapa diskusi, masjid akhirnya bisa didirikan di tempat yang direncanakan.
Pada tanggal 20 September 1965, dilakukan peletakan batu pertama di tanah tersebut.
Dan pada Agustus 1967, persis berbarengan dengan perayaan kemerdekaan Republik Indonesia, Masjid Jogokariyan diresmikan.