มีเรื่องเล่าของบ้านถ้ำเสือเกิดขึ้นตั้งแต่ช่วงปี พ.ศ. 2487 เนื่องจากสภาพบริเวณแถวนี้เป็นป่าดงดิบที่มีความอุดมสมบูรณ์ มีสัตว์นานาชนิดอาศัยอยู่ โดยเรื่องเล่ากล่าวว่า เมื่อถึงเวลา 4 โมงเย็น ผู้ที่อยู่ในป่าจะต้องรีบขึ้นไปนั่งห้างบนต้นไม้เพื่อพักและหลบจากสัตว์ป่าดุร้าย เนื่องจากพื้นที่แถบนี้จะมืดเร็วและยังมีสัตว์จำพวก ช้างป่า ม้า เสือ กระทิง อาศัยอยู่ ต่อมาเมื่อมีชาวบ้านเริ่มเห็นว่าพื้นที่แถวนี้อุดมสมบูรณ์และสามารถเพาะปลูกได้ก็เริ่มถางป่าส่วนหนึ่งเพื่อใช้เป็นพื้นที่ในการเกษตรและอยู่อาศัย จากนั้นสัตว์ป่าน้อยใหญ่ก็เริ่มหลบเข้าไปอยู่ในป่าบริเวณที่ลึกขึ้น ส่วนเรื่องชื่อของบ้านถ้ำเสือนั้น เกิดจากที่ชาวบ้านไปพบเจอกับร่องรอยของเสือในถ้ำแถวนั้น จึงทำให้รู้ว่าแถวนั้นมีเสืออาศัยอยู่จนกลายมาเป็นชื่อของบ้านถ้ำเสือจนถึงปัจจุบัน จากนั้นบ้านถ้ำเสือเลยกลายเป็นชุมชนที่อยู่คู่กับป่าและผืนน้ำเพชรบุรีโดยขึ้นตรงกับอำเภอแก่งกระจาน ชาวบ้านมีอาชีพหลักคือทำเกษตร ทำไร่ ทำสวน รวมถึงมีโครงการที่เป็นเอกลักษณ์ของชุมชนคือโครงการธนาคารต้นไม้ โดยการสนับสนุนของ ธกส.