โบราณสถานถ้ำพระ ในสมัยก่อนถ้ำพระแห่งนี้และแม่น้ำกกจะชนกับตัวถ้ำ และตัวถ้ำนี้จะอยู่สูงมีโพรงหินต่าง ๆ เยอะมาก มีเรื่องเล่าขานกันว่าในอดีตเคยมีเรือของกษัตริย์มาชนกับปากถ้ำและได้เสียชีวิตลง ชาวบ้านจึงได้นำเรือไปไว้ที่ฝั่งด้านล่างของตัวถ้ำ ต่อมาน้ำก็ค่อยๆแห้งลง ชาวบ้านกับพระสงฆ์จึงได้สร้างพระพุทธรูปทั้งองค์เล็กและองค์ใหญ่เก็บไว้ในถ้ำมากมาย ซึ่งตามความเชื่อของชาวบ้าน ถ้ามีการป่วยไข้ ก็จะนำพระมาขอขมา และถวายต่อพระพุทธรูปและเก็บพระที่นำมาถวายไว้ในถ้ำ จนกลายเป็น สุสานพระ คือพระที่ไม่สวย แขนหัก ขาหัก รูปทรงไม่ค่อยงาม ก็นำมาเก็บรวมๆไว้ที่นี่จำนวนมาก จึงกลายเป็นสุสานพระ และต่อมาจึงได้เปลี่ยนชื่อตามชื่อภูเขาว่า “ถ้ำพระ” ในสมัยก่อนนั้นจะห้ามผู้หญิงขึ้นบนถ้ำ เพราะถือว่าเป็นการลบหลู่ต่อกษัตริย์ที่ตายไปและพระพุทธรูปต่าง ๆ ข้างในถ้ำ