ปราสาทบ้านสมอ เป็นปราสาทขอมโบราณขนาดเล็ก ปราสาทประธานก่อด้วยศิลาแลงย่อมุม มีมุขยื่นออกไปทางทิศตะวันออกซึ่งเป็นทางเข้าเพียงด้านเดียว ส่วนผนังอีก 3 ด้าน ทำเป็นประตูหลอก กรอบประตูทำด้วยหินทราย พบทับหลังเหนือกรอบประตูด้านทิศใต้ซึ่งยังแกะสลักลวดลายไม่เสร็จ แต่มองได้ว่าเป็นภาพพระพุทธรูปประทับนั่งขัดสมาธิอยู่เหนือหน้ากาลที่กำลังคายท่อนพวงมาลัย โดยใช้มือยึดจับพวงมาลัยซึ่งสลักลายใบไม้ม้วน มีบุคคล 2 คนนั่งพนมมืออยู่ ทางด้านทิศตะวันออกเฉียงใต้ของปราสาทประธาน มีวิหารทรงสี่เหลี่ยมผืนผ้า ก่อด้วยศิลาแลง มีทางเข้าอยู่ด้านทิศตะวันตกรอบปราสาทประธานและวิหารทั้ง 4 ด้าน ล้อมด้วยกำแพงแก้ว ซึ่งก่อด้วยศิลาแลง มีโคปุระ หรือซุ้มประตูขนาดใหญ่ทางด้านทิศตะวันออก นอกกำแพงแก้วด้านทิศตะวันออกเฉียงเหนือของปราสาทมีสระน้ำขนาดเล็ก ขอบสระกั้นด้วยศิลาแลง นอกจากนี้ บริเวณโดยรอบปราสาทยังร่มรื่นไปด้วยพันธุ์ไม้นานาชนิด สามารถใช้เป็นสถานที่พักผ่อนหย่อนใจ ไปพร้อมๆ กับเรียนรู้ศิลปะเขมรได้เป็นอย่างดีเลยทีเดียว