Asal usul desa Jarak menurut sesepuh yang bernama Sarlan. Diceritakan bahwa dalam kepercayaan orang-orang terdahulu apabila seseorang mempunyai lima orang anak laki-laki diberi julukan atau istilah "Pandowo Limo" dan dari kelima anak tersebut harus menjalani pengasingan. ini berlaku pada pangeran Pakubuwono XI dari kerajaan Mataram yang mempunyai lima orang anak laki-laki yang bernama:
1. Pangeran Jimat
2. Pangeran Binowo
3. Pangeran Bilowo
4. Pangeran Palang Segoro
5. Pangeran Palang Joyo
Kelima pangeran ini mengatakan perjalanan/ritual ke arah timur Mataram, mereka banyak mengalami rintangan-rintangan yang rumit dan pahit. Sehingga pada suatu ketika salah satu dari kelima orang tersebut yakni Pangeran Jimat sebagai kakak tertua, menganjurkan supaya keempat saudaranya beserta dirinya untuk berpencar mencari tempat bertapa(mediasi), dan Pangeran Jimat sendiri memutuskan untuk tinggal di perbukitan Gunung Anjasmoro.
Walaupun mereka tidak tinggal dalam satu tempat, namun mereka saling menjalin komunikasi batin. sampai suatu ketika terjadi peperangan antara Mataram dan kerajaan Pajang yang dibantu oleh kerajaan Bali. Rakyat dari ketiga kerajaan ini berhamburan mencari perlingdungan masing-masing. dan menetaplah Pangeran Jimat di desa Jarak, yang kemudian di salah satu makam di Dusun Sungkul Desa Jarak, ada salah satu makam yang disinyalir sebagai makam Mbah Jimat, yang sampai saat ini masih dianggap sebagai cikal bakal Desa Jarak dan tempat yang dikeramatkan.
