แต่ก่อนนี้ ที่บริเวณวัดนิมิตโพธิญาณ เป็นป่ายางมีต้นยางมากมาย ต้นยางบางต้นมีขนาดใหญ่กว่า 11 คนโอบ มีอายุยืนนานกว่าหลายร้อยปี ขึ้นสูงตระหง่านโดดเด่นอยู่กลางวัด ชาวบ้านแถวนั้นเชื่อกันว่า เป็นต้นยางศักดิ์สิทธิ์มีเทวดาสิงสถิตอยู่ และชาวบ้านก็เชื่อกันว่ามีสิ่งศักดิ์สิทธิ์อยู่ในบริเวณนี้ ตามตำนานของชาวบ้านในท้องถิ่น เล่าขานต่อๆกันมาว่า เวลาค่ำคืนพระอาทิตย์ตกดิน ชาวบ้านมักจะเห็นลำแสงประหลาดพุ่งออกมาจากต้นยาง ราวกับแสงแห่งปาฏิหาริย์ บ้างก็ว่าเคยเห็นงูใหญ่เลื้อยออกมาคล้ายกับพญานาค ทำให้ชาวบ้านแห่งนั้นเกิดความเกรงกลัว ไม่กล้าตัดโค่นทำลายต้นยาง