ปราสาทบ้านบุ เป็นธรรมศาลาสมัยขอมโบราณ “ธรรมศาลา หรือ บ้านมีไฟ” เปรียบเสมือนสถานีขนส่งผู้โดยสารในสมัยนี้ เพราะถ้าย้อนกลับไป 700 กว่าปีก่อนแล้วบนถนนสายนี้(เส้นทางสาย ราชมรรคา) มีสภาพเป็นป่ารกทึบ ยิ่งช่วงค่ำคืนมืดดึกดื่นแล้ว ที่ไหนมีไฟแล้วที่นั้นย่อมปลอดภัย สภาพโดยรอบของธรรมศาลานั้น จะประกอบไปด้วยโรงเลี้ยงช้างม้า กระท่อมผู้พักสัญจรไปมาระหว่างเมือง ระหว่างชุมชนซึ่งส่วนมากจะสร้างด้วยไม้และมุงหญ้า จะมีแค่ตัวปราสาทธรรมศาลาเท่านั้นที่ก่อสร้างด้วยหินทรายศิลาแลง