ปราสาทตามอญ สร้างเพื่อเป็นสถานที่ประดิษฐานสิ่งเคารพบูชาตามความเชื่อทางศาสนา และอีกความเชื่อหนึ่งซึ่งเป็นที่มาของปราสาทตามอญ เชื่อว่าในสมัยที่เจ้าพระยามหากษัตริย์ศึก ได้ยกทัพไปตีเมืองเวียงจันทร์ ประเทศลาว ได้ยกทัพผ่านมาในบริเวณนี้และได้กวาดต้อนเอาผู้คนชาวลาวมาด้วย และในเวลาดังกล่าวมีข้าราชการชั้นเชื้อพระวงศ์ของลาวที่ถูกกวาดต้อนมาเกิดเจ็บป่วยและเสียชีวิต จึงได้มีการก่อสร้างปราสาทเพื่อแสดงความเคารพต่อผู้ที่เสียชีวิต ซึ่งจะเห็นได้ว่าองค์ปราสาทมีลักษณะแบบลาวผสมอยู่