โรงเรียนอนุบาลยางชุมน้อย(หน่วยฯ) ตั้งขึ้นโดยการนำโรงเรียน 2 โรงมารวมกัน คือโรงเรียนวัดบ้านยางชุมน้อย กับ โรงเรียนบ้านยางชุมน้อย (หน่วยคุรุราษฎรรังสรรค์) ซึ่งประวัติโรงเรียนเดิมทั้ง 2 โรงเรียน จะกล่าวโดยสังเขป ดังนี้
1.โรงเรียนวัดบ้านยางชุมน้อย ตั้งขึ้นเมื่อวันที่ 6 มิถุนายน 2466 โดยนายฤทธิ์ อุฏมาศ ปลัดซ้าย และนายเป้ย อรจันทร์ ศึกษาธิการอำเภอคง จังหวัดขุขันธ์ ร่วมกับชาวบ้านก่อตั้งโรงเรียนขึ้น และจัดสอนตามหลักสูตรประถมศึกษา (ป.1 – ป.7)
2.โรงเรียนบ้านยางชุมน้อย (หน่วยคุรุราษฎร์รังสรรค์) ส่วนมาเรียกโดยย่อว่าโรงเรียน”หน่วยฯ” ตั้งขึ้นเมื่อปี พ.ศ. 2502 โดยการนำของพระศาสนดิลก (หน่วย ขนฺติโก) เจ้าคณะจังหวัดศรีสะเกษ นายสุริยน เกสร ผู้นำชุมชนและชาวบ้าน ปิดทำการสอนระดับชั้นมัธยมศึกษาปีที่ 1-3 สังกัดกรมสามัญศึกษา กระทรวงศึกษาธิการ
เมื่อปี 2521 ทางราชการได้ให้โรงเรียนประถมศึกษาสังกัดกรมสามัญศึกษา และโรงเรียนประถมศึกษาสังกัดองค์การบริหารส่วนจังหวัดศรีสะเกษ โอนมาขึ้นกับสำนักงานคณะกรรมการการประถมศึกษาแห่งชาติ ทางราชการจึงได้สั่งรวมโรงเรียนบ้านยางชุมน้อย กับ โรงเรียนบ้านยางชุมน้อย (หน่วยคุรุราษฎร์รังสรรค์) เป็นโรงเรียนเดียวกัน ใช้ชื่อว่า “โรงเรียนบ้านยางชุมน้อย (หน่วยคุรุราษฎร์รังสรรค์)” เมื่อ วันที่ 28 กุมภาพันธ์ 2521 ทำการสอนจากชั้นประถมศึกษาปีที่ 1 ถึงชั้นประถมศึกษาปีที่ 6
เมื่อปี พ.ศ. 2543 ทางราชการกำหนดให้มีโรงเรียนอนุบาลต้นแบบประจำอำเภอ และได้คัดเลือกโรงเรียนบ้านยางชุมน้อย(หน่วยฯ) เป็นโรงเรียนอนุบาลต้นแบบของอำเภอยางชุมน้อย จึงได้เปลี่ยนชื่อโรงเรียนใหม่ชื่อว่า “โรงเรียนอนุบาลยางชุมน้อย(หน่วยคุรุราษฎร์รังสรรค์)” เปิดทำการสอนตั้งแต่ชั้นอนุบาล ถึง ชั้นประถมศึกษาปีที่ 6
ปัจจุบันโรงเรียนเปิดทำการสอนตั้งแต่ระดับชั้น อนุบาล ถึงชั้น ประถมศึกษาปีที่ 6 โดยมีนายสรวิทย์ นามวงษ์ เป็นผู้อำนวยการ