เป็นวัดเก่าแก่อยู่คู่เมืองลำพูนมานานมากแล้ว เป็นวัดที่สร้างขึ้นในสมัยพระนางจามเทวีครองเมืองหริภุญชัย ในวัดนี้มี พระคง ซึ่งเป็นพระเครื่องที่มีความศักดิ์สิทธิ์และเป็นที่นับถืออีกองค์หนึ่งของเมืองลำพูน เป็น 4 วัด 4 มุมเมือง ที่มีการจุดพบพระเครื่องของเมืองลำพูน เชื่อว่าพระเครื่องที่ขุดได้นี้เป็นเป็นพระคง ที่ วาสุเทพฤาษี และสุกกทันตฤาษี สร้างวัด จึงเรียกว่า วัดพระคงฤาษี แต่นั้นเป็นต้นมา วัดพระคงฤาษี เดิมชื่อ "วัดอาพัทธาราม" พระนางจามเทวีโปรดให้สร้างขึ้นเพื่อ ถวายพระภิกษุที่มาจากลังกา ใช้เป็นที่พำนักและบำเพ็ญสมณะธรรมเป็นที่บรรจุ "พระคง" ตามตำนานกล่าวว่า วาสุเทพฤาษี ได้ใช้ไม้เท้ากรีดพื้นเพื่อเขียนแผนผังเมืองลำพูนตรงพระเจีดย์นี้ พระนางจามเทวีจึงทรงสร้างพระเจดีย์ขึ้นเป็นรูปทรงสี่เหลี่ยม แล้วให้นายช่างแกะสลักเป็นรูปพระฤาษีทั้ง 4 ตนไว้ แต่ละตนถือไม้เท้าในมือ รูปปั้นแกะสลักฤาษีสร้างด้วยศิลาแดงเมื่อทำเสร็จแล้ว ได้นำไป บรรจุไว้ภายในซุ้มประตูทั้ง 4 ด้านของพระเจดีย์ โดยทางทิศเหนือเป็นรูปวาสุเทพฤาษี ทิศตะวันออกเป็นรูปพระพรหมฤาษี ทิศตะวันตกเป็นรูปของพระสมณนารคฤาษี ทิศใต้เป็นรูปของสุกกทันตฤาษี ซึ่งชาวลำพูนจะจัดประเพณีนมัสการและสรงน้ำ พระเจดีย์องค์นี้ภายหลังวันสงกรานต์