ว่ากันว่าในอดีตหลวงพ่อโตเคยธุดงค์มาปักกลดปฏิบัติธรรมตรงนี้ พร้อมกับหลวงพ่อแสงแห่งวัดมณีชลขันธ์ ตัวเมืองลพบุรี ซึ่งเปรียบเสมือนอาจารย์ของท่าน ภายหลังมีลูกศิษย์ลูกหาและญาติโยมผู้มีจิตศรัทธาร่วมกันสร้างวัดขึ้นมาและตั้งชื่อว่าวัดพระศรีพรหมรังษี เพื่อเป็นอนุสรณ์รำลึกถึงหลวงพ่อโต ต่อมามีการลดทอนชื่อวัดให้สั้นกระชับขึ้นเหลือแค่วัดพรหมรังษี