วัดท่าฬ่อสร้างขึ้นประมาณ พ.ศ. ๒๔๑๐ ได้รับพระราชทานวิสุงคามสีมาเมื่อวันที่ ๑๐ ตุลาคม พ.ศ. ๒๕๒๓ ชื่อ “ท่าฬ่อ” เป็นชื่อของชุมชนที่ตั้งของวัดซึ่งเชื่อกันว่าเพี้ยนมาจากคำว่า "ท่าล้อ" เพราะบริเวณนี้ในสมัยก่อนเป็นที่รวมตัวของเหล่าล้อเลื่อนสำหรับลากไม้และล้อเกวียนต่างๆ ที่ใช้ในการขนส่งผลผลิตทางการเกษตร สำหรับวิหารหลังเก่าหรือที่เรียกกันว่าวิหารหลวงตากลิมซึ่งเป็นที่ตั้งของจิตรกรรมนั้นสร้างขึ้นเมื่อ พ.ศ. ๒๔๕๓ เดิมเป็นที่ประดิษฐานพระพุทธรูปเก่าแก่ปางนิพพานหรือที่มักเรียกกันว่าปาง "พระเจ้าเข้านิพพาน" ซึ่งมีเพียง ๒ แห่งเท่านั้นในประเทศไทย คือที่นี่ซึ่งถือว่าสมบูรณ์ที่สุดกับที่วิหารแกลบ วัดพระศรีรัตนมหาธาตุวรมหาวิหาร อำเภอเมือง จังหวัดพิษณุโลก ต่อมา เมื่อกรมศิลปากรมาบูรณะภาพในวิหารเมื่อ พ.ศ. ๒๕๔๕ ทางวัดได้อัญเชิญพระพุทธรูปไปเก็บไว้ที่อุโบสถหลังเก่าหรือที่เรียกกันว่าวิหารหลวงพ่อพวง ในวิหารหลวงตากลิมจึงเหลือเพียงแค่ฐานและมักจะปิดตายเพราะตั้งอยู่ท้ายวัดและไม่มีพระพุทธรูปให้คนมากราบไหว้อีก ซึ่งน่าเสียดายมากเพราะจิตรกรรมในวิหารหลังนี้งดงามและยังคงสภาพที่สมบูรณ์ที่สุดแห่งหนึ่งในบรรดาจิตรกรรมรุ่นเดียวกัน