Kelenteng Sam Poo kong merupakan petilasan, yaitu bekas tempat persinggahan dan pendaratan seorang Laksamana Tiongkok yang beragama Islam bernama Zheng He(Cheng Ho). Ketika melakukan pelayaran di laut Jawa, seorang dari juru mudinya, Wang Jing Hong sakit keras. Armada Zheng He merapat di pantai Simongan, Semarang.
Sebuah gua batu digunakan sebagai tempat beristirahat sambil mengobati Wang Jing Hong. Zheng He juga mendirikan masjid yang digunakan untuk beribadah. Sementara Wang Jing Hong menyembuhkan diri, Zheng He meneruskan pelayaran ke timur untuk menuntaskan misi perdamaia, perdagangan keramik dan rempah-rempah.
Selama di Simongan, Wang mengajak anak buahnya menggarap lahan, membuat rumah dan bergaul dan menyebarkan agama Islam kepada penduduk setempat. Akhirnya lingkungan gua menjadi makmur dan berkembang karena aktivitas pertanian dan perdagangan.
Untuk menghormati pimpinannya, Wang membuat patung Zhe He di gua batutersebut. Sehingga masyarakat sekitar bisa turut mengenang dan menghormati Zheng He. Wang meninggal dan dimakamkan di sekitar situ. Masyarakat menyebut Makam Kyai Juru Mudi.
Sekarang Kelenteng Sam Poo Kong menjadi tempat peringatan, pemujaan, sembahyang dan tempat berziarah. Di sana diletakkan sebuah altar dan patung-patung Sam Po Tay Djien. Walau Laksamana Zheng He seorang muslim, tetap dianggap dewa karena agama Kong Hu Cu menganggap oreng yang sudah meninggal dapat memberikan pertolongan kepada mereka.