ประวัติของพระแก้วขาว ตามคำบอกเล่าของชาวกะเหรี่ยงจากรุ่นสู่รุ่น เป็นพระพุทธรูปที่รัชกาลที่ 3 พระราชทานให้แก่พระศรีสุวรรณคีรีที่ 1 ไว้เป็นพระคู่บ้านคู่เมืองสังขละบุรี ซึ่งเป็นเมืองหน้าด่านทางทิศตะวันตก เมื่อครั้งที่พระศรีสุวรรณคีรีที่ 1 ถือน้ำพิพัฒน์สัตติยา สวามิภักดิ์ต่อสยาม และตั้งหลักเมืองสังขละบุรี ราวปี พ.ศ. 2368-2384