เขาถมอรัตน์เป็นภูเขาขนาดใหญ่บนที่ราบ ห่างจากเมืองโบราณศรีเทพไปทางทิศตะวันตกประมาณ 15 กิโลเมตร ภายในถ้ำบนเขาแห่งนี้มีภาพสลักนูนต่ำบนผนังถ้ำเกี่ยวเนื่องในพุทธศาสนามหายาน เป็นภาพพระพุทธรูปยืนปางแสดงธรรมบนฐานดอกบัว พระโพธิสัตว์สี่กร สถูป และธรรมจักร ลักษณะของศิลปะทวารวดีกำหนดอายุสมัยราวพุทธศตวรรษที่ 14