วัดถ้ำศรีมงคล (วัดถ้ำดินเพียง) มีสถานที่สำคัญซึ่งเป็นที่มาของชื่อวัด ถ้ำดินเพียง มาหลายคนได้เล่าขานกันมาว่า เป็นถ้ำที่พระธุดงค์ประเทศลาวเดินทางข้ามมาโดยไม่ได้ผ่านมาทางเรือแต่เป็นการเดินทางผ่านถ้ำนี้ ซึ่งผู้ที่จะเห็นเส้นทางภายในถ้ำต้องเป็นผู้บำเพ็ยศีลภาวนา หรือเป็นพระอภิญญา ลักษณะถ้ำดินเพียงนี้คล้ายเมืองบาดาลของพญานาคตามความเชื่อของชาวบ้าน ภายในถ้ำจะมีความชื้น และมีน้ำไหลตลอดปี มีก้อนหินเป็นแท่งตั้งวางอย่างจงใจ บางก้อนเป็นโลงศพ มีส่วนเว้าโค้งของหินภายในถ้ำที่สวยงาม การเดินทางเข้าถ้ำควรมีผู้นำทางเพราะถ้าไปเองอาจทำให้หลงทางและเป็นอันตรายได้