ตั้งอยู่ในหุบเขาภูพาน พื้นที่ตำบลนาแก ลักษณะภูมิประเทศเป็นภูเขาเตี้ยๆ ประกอบไปด้วย ถ้ำ หุบเขาผาสูงชัน ลำห้วยธรรมชาติและป่าไม้ที่อุดมสมบูรณ์ ร่มรื่น เหมาะแก่การปฏิบัติธรรมของพระภิกษุ จากคำบอกเล่าของชาวบ้านที่เล่าต่อๆกันมาว่า มีนายพรานคนหนึ่งเข้าไปล่าสัตว์ในป่าและพบถ้ำและหน้าผาที่สวยงาม มีตาน้ำไหลออกมาจากใต้ก้อนหินเป็นทางน้ำเล็กๆตลอดเวลา (ขณะนั้นเรียกถ้ำเยี่ยวไก่) ขณะนั้นมีพระภิกษุ ๒ รูปเข้าไปปฏิบัติธรรม และได้ชักชวนชาวบ้านไปพัฒนาและทำทางเดินเพื่อให้ทางสะดวกสามารถเดินลงเขาไปบิณฑบาตได้ เมื่อพัฒนาเส้นทางเดินเสร็จเรียบร้อยแล้วญาติโยมจึงชักชวนกันจัดทำบุญพระเวสขึ้น โดยใช้บริเวณถ้ำเยี่ยวไก่เป็นสถานที่ประกอบพิธีกรรมโดยไม่มีการแห่พระเวสจึงพากันเรียกว่า บุญพระเวสก้อม (ก้อมในภาษาอีสาน หมายถึง สั้นๆ) จากนั้นจึงพากันเรียกว่า ถ้ำพระเวส ตั้งแต่นั้นเป็นต้นมา