Masjid yang berdiri di kawasan Pekojan ini adalah masjid kedua yang dibangun oleh orang-orang Moor yang tinggal sejak sebelum pertengahan abad ke 17 di daerah tersebut. Karena masjid pertama mereka yang dibangun di Jl Pengukiran menjadi terlalu sempit diakibatkan oleh pembunuhan massal orang Tionghoa pada tahun 1740 yang ternyata memberikan kesempatan dagang yang lebih leluasa bagi orang-orang Moor, sehingga jumlah mereka bertambah banyak.
Dibangun pada tahun (1748–1817) Masjid Jami Kampung Baru, adalah salah satu masjid tua yang didirikan dan merupakan masjid pertama didirikan bagi para Cina peranakan yaitu warga keturunan Moor. Bentuk mesjid semacam ini menyerupai bentuk-bentuk bangunan tradisional Jawa, di mana biasanya terdapat 4 tiang soko guru pada bagian tengah bangunan sebagai penyangga atap berbentuk limas tersebut.