ห้องสมุดประชาชนอำเภอสรรพยา ได้เริ่มก่อตั้งเมื่อ พ.ศ. 2505 ด้วยความริเริ่มของนายสุพจน์ วัฒนะประดิษฐ์ อดีตศึกษาธิการอำเภอสรรพยา ร่วมกับ นายสนิท ร่มโพธิ์ทอง อดีตนายอำเภอสรรพยา โดยใช้มุมหนึ่งของที่ว่าการอำเภอสรรพยาเป็นที่ตั้งในปี พ.ศ. 2508 จึงได้รับการอนุมัติก่อตั้งอย่างเป็นทางการเพื่อให้ถูกต้องตามระเบียบกรมสามัญศึกษาโดยขออนุญาตให้เปิดเป็นห้องสมุดประชาชนแต่อยู่ในประเภทนอกงบประมาณ ต่อมาในปี พ.ศ. 2525 ห้องสมุดย้ายไปอยู่ที่อาคารชั้นล่างของสำนักงานที่ดินอำเภอสรรพยา จนกระทั่ง ปี พ.ศ. 2535 ศูนย์การศึกษานอกโรงเรียนจังหวัดชัยนาท ได้รับงบประมาณในการก่อสร้างอาคารห้องสมุดหลังใหม่โดยขอใช้ที่ราชพัสดุของอำเภอสรรพยา เป็นสถานที่ก่อตั้งห้องสมุดประชาชนอำเภอสรรพยาเปิดทำการเมื่อวันที่ 16 กรกฎาคม พ.ศ. 2535 จนถึงปัจจุบัน
