วัดเขาพนมฉัตรเป็นชื่อชองภูเขาลูกหนึ่งในจำนวน 7 ลูกของหมู่บ้านเขาล้อ หรือชาวบ้านในระแวกนี้เรียกว่าเขาผู้ใหญ่เนื่องจากความใหญ่โตและความสูงที่มีมากกว่าภูเขาลูกอื่น ๆ ที่อยู่ในบริเวณนี้ บนยอดของเขาพนมฉัตรมีสิ่งก่อสร้างที่สำคัญคือ มณฑปและศาลาจัตุรมุขประจำทิศหลักทั้ง 4 ทิศ