วันศุกร์ที่ 9 สิงหาคม พ.ศ. 2562

เรื่องที่ 21 ทำอย่างไรให้ผลการประเมินมีความตรงตามสภาพจริง





   สิ่งที่น่ากังวลใจของนักประเมิน คือ ผลการประเมินไม่ตรงตามสภาพจริง(ไม่ว่าจะเป็นการประเมินภายใน หรือภายนอก) หรือไม่มีความตรงตามสภาพ(Concurrent Validity)  เช่น เราตัดสินผลการประเมินภายนอกในช่วงต้นเดือนกรกฎาคม 2562 ว่า โรงเรียนนี้ในด้านผู้เรียนมีคุณภาพในระดับดีมาก(มีพัฒนาการต่อเนื่อง 2-3 ปี มาแล้ว)  หรือตัดสินผลการประเมินภายในว่า มีคุณภาพระดับยอดเยี่ยม(เพราะดำเนินการได้สูงกว่าเป้าหมายในทุกประเด็นหรือเกือบทุกประเด็น)   ปรากฏว่า ในปลายเดือน กรกฎาคม 2562 มีนักเรียนเครียด กระโดดตึก 1 คน เป็นข่าวครึกโครม  พอถัดอีก 1 สัปดาห์  นักเรียน หญิง ม.4 ยกพวกมาตีน้อง ม.2 จนเป็นข่าวอีก....ในกรณีเช่นนี้ น่าจะถือว่า ผลการประเมินไม่ตรงตามสภาพจริง(Concurrent Validity) หรือไม่มีความตรงเชิงทำนาย(Predictive Validity)...กรณีเช่นนี้ อาจจะสรุปพาดพิงได้ว่า กระบวนการประเมินและผลการประเมินเชือถือไม่ได้ ยังมีข้อบกพร่อง อย่างแน่นอน

   ในกรณีของการประเมินภายนอก บางครั้ง สถานศึกษา ส่ง SAR ของปีการศึกษา 2561 เพื่อมาขอรับการประเมิน  เป็นการส่งเข้าขอรับการประเมินในเดือน ตุลาคม 2562  โดยขณะที่ส่งนี้ เป็นที่รับทราบตรงกันหรือโรงเรียนก็ทราบดีว่า ในปีการศึกษา 2562 โรงเรียนแห่งนี้ เปลี่ยนผู้บริหาร และโรงเรียนประสบปัญหาต่าง ๆ เยอะมาก(ทั้งด้านคุณภาพทางวิชาการ และด้านคุณลักษณะอันพึงประสงค์ในตัวผู้เรียน) แนวโน้มคุณภาพของปี 2562 ตกต่ำลงเกือบทุกเรื่อง รวมถึงคาดการณ์ว่า ผลสัมฤทธิ์ทางการเรียนระดับชาติ(O-NET)ก็น่าจะตกต่ำ อย่างแน่นอน
   จากสภาพเงื่อนไขช้างต้น เมื่อผู้ประเมินภายนอกไปทำการประเมินปลายปี 2562 โดยยึด SAR ปีการศึกษา 2561  และพอมองย้อนหลังไปดูในปี 2560 และ 2559 ก็เห็นว่า โรงเรียนแห่งนี้มีพัฒนาการดีขึ้น อย่างต่อเนื่อง(Continuous Improve)  ซึ่งตามเกณฑ์การตัดสินระดับคุณภาพ คณะกรรมการผู้ประเมิน อาจให้ผลการประเมินระดับ 4-ดีมาก เพราะโรงเรียนมีพัฒนาการดีขึ้นอย่างต่อเนื่อง....แต่ปัญหา อยู่ที่ ณ ปัจจุบัน ปีการศึกษา 2562 แนวโน้มคุณภาพโรงเรียนนี้ลดลงในหลายเรื่อง หรือเกิดปัญหาหลายเรื่อง  หากพิจารณาในแง่ความเชื่อถือได้ของผลการประเมินด้านผู้เรียน เมื่อดูสภาพจริงในปี 2562 (ขณะที่ไปประเมิน) พบว่า  ที่เคยบอกว่าด้านผู้เรียนมีคุณภาพระดับ "ยอดเยี่ยม" นั้น มาบัดนี้   ณ ปี 2562 ไม่จริงเสียแล้ว  ในบทบาทของ Expert Judgement ในกรณีนี้ ผู้ประเมินมีสิทธิที่จะลดระดับคุณภาพ เพราะไม่สามารถยืนยันได้ว่าโรงเรียนนี้ มีพัฒนาการดีขึ้นอย่างต่อเนื่องจนมาถึงปัจจุบัน(นำข้อมูลปัจจุบัน เข้าเป็นส่วนหนึ่งของการตัดสินใจ)  หากประกาศผลการประเมินระดับ 4-ดีมาก ก็ถือว่า ผลการประเมินไม่ตรงตามสภาพจริง(ณ เวลานี้) อีกทั้ง ยิ่งหากปลายปี 2562 โรงเรียนยิ่งประสบปัญหาวิกฤติมากขึ้น ก็ยิ่งยืนยันว่า ผลการประเมินตนเอง ระหว่างปี 2559-2561  แม้จะมีความต่อเนื่อง แต่ก็ไม่มีแนวโน้มยั่งยืน  การตัดสินให้ผลการประเมินระดับ 4-ดีมาก ก็น่าจะถือว่าไม่ตรงตามสภาพจริง หรือไม่มีความตรงเชิงทำนายเลย ซึ่งถือเป็นคุณสมบัติสำคัญของผลการประเมิน(ต้องมีความตรง เชื่อถือได้)...โดยนัยข้างต้นนี้ ผู้ประเมินภายนอกที่เชี่ยวชาญ จะต้องพิจารณาความตรงตามสภาพจริง(ของปีปัจจุบัน) ประกอบการตัดสินใจในการให้ระดับคุณภาพด้วย

วันอาทิตย์ที่ 23 มิถุนายน พ.ศ. 2562

เรื่องที่ 20 เงื่อนไขสำคัญในการให้ผลการประเมินระดับ 4-ดีมาก หรือ 5-ดีเยี่ยม ตามเกณฑ์ สมศ.

ในการประชุมเพื่อสร้างความเข้าใจและเตรียมพร้อมรองรับการประเมินภายนอกปี 2562-63 ณ โรงแรมสุนีย์ แกรนด์  จังหวัดอุบลราชธานี เมื่อวันที่ 21 มิถุนายน 2562  ตัวแทนต้นสังกัดท่านหนึ่ง กล่าวในการร่วมอภิปรายว่า ตอนนี้ โรงเรียนสังกัดเราสบายใจขึ้นเยอะ ไม่เครียดแล้ว เพราะทราบว่ามีโรงเรียนสังกัด อปท.จำนวนหนึ่งในอุบลราชธานี ได้เข้ารับการประเมินเมื่อ  2 เดือนที่แล้ว  ขนาดโรงเรียนเหล่านั้นยังได้ผลการประเมินในระดับ 4-ดีมาก และ 5-ดีเยี่ยม ในบางด้าน  เราเลยไม่กังวลใจแล้ว...(ผมฟังแล้วสะอีกเลย)

ผู้ประเมินภายนอก สมศ.และผู้เกี่ยวข้อง ควรทำความกระจ่างเกี่ยวกับเกณฑ์การตัดสินคุณภาพ ในการประเมินภายนอกของ สมศ. ให้เป็นที่เข้าใจตรงกัน โดยเฉพาะการให้ผลการประเมินระดับ 4-ดีมาก  และ 5-ดีเยี่ยม  ต้องอยู่ภายใต้เงื่อนไขต่อไปนี้

การตัดสินให้คุณภาพระดับ 4-ดีมาก

   คุณภาพระดับ 4-ดีมาก   การจะตัดสินให้คุณภาพในระดับนี้ได้ สถานศึกษาต้องแสดงหลักฐานอย่างชัดเจนว่า  คุณภาพการศึกษา มีพัฒนาการดีขึ้นอย่างต่อเนื่อง ตลอด 2-3 ปีหลังสุด  ....เช่น ถ้าคุณภาพด้านผู้เรียนดีขึ้นอย่างต่อเนื่อง  ผลการประเมินด้านผู้เรียนก็จะได้ระดับคุณภาพ 4-ดีมาก เช่น

  • คะแนนเฉลี่ยโอเน็ตสู่ขึ้นอย่างต่อเนื่อง 3 ปีการศึกษา ดังนี้ 47.26 %  53.48 %  56.25 %  ตามลำดับ..แสดงว่า ในประเด็นของโอเน็ต(เป็นหนึ่งประเด็น)โรงเรียนมีพัฒนาการดีขึ้นอย่างต่อเนื่อง
  • คะแนนเฉลี่ยโอเน็ตสูงอย่างคงที่อยู่ที่ร้อยละ 87.42, 87.35 , และ 87.28 ตามลำดับ(เป็นโรงเรียนชั้นนำประเทศ)แต่ ร้อยละของเด็กที่ได้คะแนนโอเน็ตต่ำกว่า 50 % (เนื่องจากโรงเรียนแห่งนี้เป็นโรงเรียนชั้นนำประเทศ  เด็กที่ได้โอเน็ตต่ำกว่า 50 % มีไม่มากนัก) ในระยะ 3 ปีหลัง เหลือเพียง 14 %     9 %   และ  2 % ตามลำดับ หรือ ปีล่าสุดเหลือเพียง 2 % เท่านั้น ...แสดงว่า ในประเด็นของโอเน็ต โรงเรียนแห่งนี้มีพัฒนาการดีขึ้นอย่างต่อเนื่อง
  • หากเป้าหมายคุณภาพมีหลายประเด็นหรือหลายตัวบ่งชี้ เช่น กำหนดประเด็นคุณภาพในเรื่อง ทักษะการอ่าน-นิสัยรักการอ่าน    ความสามารถด้านการคิดวิเคราะห์   การสร้างสรรค์นวัตกรรม   ความสามารถด้านเทคโนโลยีเพื่อการดำเนินชีวิต  ผลการสอบโอเน็ต   คุณลักษณะด้านรักความเป็นไทย ฯลฯ ถ้าโรงเรียนกำหนดประเด็นย่อยๆ เหล่านี้ 10 ประเด็น    โรงเรียนต้องสามารถอธิบายให้เห็นพัฒนาการอย่างต่อเนื่อง เป็นส่วนใหญ่ของรายการที่กำหนด( ประมาณ 7 ใน 10)  ก็จะถือว่า ผลการประเมินภายนอกด้านผู้เรียน โรงเรียนจะได้ระดับคุณภาพ 4-ดีมาก หรือมีพัฒนาการดีขึ้น อย่างต่อเนื่อง


กรณีศึกษา I : โรงเรียนแห่งหนึ่งประเมินตนเองด้านผู้เรียน พบว่า โรงเรียนสามารถพัฒนาคุณภาพด้านผู้เรียนได้สูงกว่าเป้าประสงค์ที่กำหนดในทุกประเด็น(เช่น 10 ประเด็นคุณภาพ) จึงตัดสินว่า โรงเรียนมีคุณภาพระดับ "ยอดเยี่ยม"   "ยอดเยี่ยม"  และ  "ยอดเยี่ยม"  อย่างต่อเนื่องมา 3 ปี (เป็นมาตรคุณภาพระดับสูงสุดของการประเมินภายใน)   
      ผู้ประเมินภายนอก ถาม :  แนวโน้มคุณภาพด้านผู้เรียนดีมีพัฒนาการขึ้นหรือไม่ โปรดอธิบาย
      โรงเรียน ตอบ :  ก็มันสูงสุดแล้ว จะดีขึ้นได้อย่างไร  มันก็อยู่ตรงนี้แหละ
      ผู้ประเมิน ถาม : เด็กกลุ่มเรียนอ่อน หรือกลุ่มที่มีคุณลักษณะอันพึงประสงค์ยังไม่เข้มข้นพอ  มีหรือไม่  มีประมาณกี่ % ของนักเรียนทั้งหมดในแต่ละรุ่น   โรงเรียนทำอย่างไรกับเด็กกลุ่มนี้  ผลเป็นอย่างไร ในปีหลัง ๆ มีแนวโน้มดีขึ้นหรือไม่
      โรงเรียน ตอบ: เรายังไม่ได้ลงลึกขนาดนั้น คงต้องรอในปีต่อๆไป

    ผู้ประเมินภายนอก สรุปว่า  ด้านผู้เรียน โรงเรียนประเมินตนเองในระดับยอดเยี่ยม มา 3 ปีการศึกษาต่อเนื่อง โดยไม่ปรากฏหลักฐานเชิงประจักษ์ว่า คุณภาพผู้เรียนดีขึ้นอย่างต่อเนื่อง  เด็กกลุ่มอ่อนหรือกลุ่มเสี่ยง ก็ไม่มีแนวโน้มลดลง หรือเด็กกลุ่มเก่ง-ปัญญาเลิศ ก็ไม่ได้มีพัฒนาการหรือมีจำนวนมากขึ้น..สรุปว่า ด้านผู้เรียนไม่มีพัฒนาการดีขึ้น อย่างต่อเนื่อง ไม่สามารถให้ผลการประเมินระดับ 4-ดีมาก ตามเกณฑ์ของ สมศ.ได้

การตัดให้คุณภาพระดับ 5-ดีเยี่ยม
   ในการประเมินภายนอกมาตรฐานใด ๆ เช่น การประเมินระบบประกันคุณภาพภายในด้านผู้เรียน ของโรงเรียน....การให้ ระดับคุภาพ 5-ดีเยี่ยม :โรงเรียนต้องสามารถสร้างนวัตกรรมต้นแบบด้านการพัฒนาผู้เรียน เป็นแบบอย่างได้ อย่างหลากหลาย  (ไม่จำเป็นต้องเป็นส่วนใหญ่ของประเด็นด้านผู้เรียน แต่ให้พิจารณาที่ความหลากหลาย)  เช่น มี 2 รายการ ที่เป็นนวัตกรรมระดับนานาชาติ ไปนำเสนอในต่างประเทศหรือชนะเลิศมาแล้วในระดับนานาชาติมาแล้ว ก็ให้ระดับ 5-ดีเยี่ยมได้  แต่ถ้าประสบความสำเร็จในระดับชาติ ก็ควรมากกว่า 4-5 รายการ(จากประเด็นที่กำหนดด้านผู้เรียน 10 รายการ)  โดยในกรณีนี้ ผู้ประเมินต้องมั่นใจว่า
    (1) ผลงานของโรงเรียนต้อง "มีความเป็นนวัตกรรม อย่างแท้จริง"  เช่น เป็นวิธีการที่ผ่านการศึกษา ค้นคว้า วิจัยและพัฒนามาหลายปี จนประสบความสำเร็จ  เป็นวิธีการที่สร้างสรรค์ อิงหลักการหรือแนวคิดทฤษฎีใหม่ ๆ อย่างเป็นรูปธรรม  เช่น ด้านส่งเสริมให้เด็กเป็นนักอ่าน-ใฝ่เรียนรู้  ได้ศึกษาวิธีการของเกาหลี  ญี่ปุ่น และสิงค์โปร์ หลังจากนั้น สังเคราะห์เป็นวิธีการของโรงเรียนเอง  ได้ทดลองและปรับปรุงมา 3 ปี ปัจจุบัน เด็กที่นี่ เป็นนักอ่านแบบสะสมไมล์ มีผลงานการอ่านเยอะมากในแต่ละปี  จนส่งผลกระทบทำให้โอเน็ตสูงขึ้น อย่างเห็นได้ชัดในระยะ 2-3 ปีหลัง
     หากโรงเรียนบอกว่า ในด้านการสอน ครูที่นี่ สร้างนวัตกรรมต้นแบบอย่างหลากหลาย เช่น ทำชุดฝึก แบบฝึกในทุกรายวิชา  ...ผู้ประเมินต้องซักถามให้ชัดเจนว่า ชุดฝึก แบบฝึก มีความเป็นนวัตกรรม อย่างไรบ้าง  พัฒนาขึ้นบนจิตวิทยาการเรียนรู้สมัยใหม่ หรือการเสริมแรงเชิงบวก  หรืออิงแนวคิดทฤษฎีใหม่ ๆ อย่างไร...หากโรงเรียนอธิบายไม่ได้  ก็น่าจะเรียกว่า เป็นสื่อการสอนธรรมดา ที่ทำกันทั่วไปใน 3-4 หมื่นโรงเรียน ที่ไม่ได้เป็นแนวทางใหม่ ๆ หรือเป็นนวัตกรรม แต่ประการใด
   (2) ผู้ประเมินภายนอกต้องมั่นใจว่า  การให้ผลการประเมินระดับ 5-ดีเยี่ยม ในด้านใด ๆ...โรงเรียนนั้นต้องโดดเด่นระดับชาติ หรือนานาชาติ ที่พร้อมจะเป็นแหล่งเรียนรู้หรือศึกษาดูงานของโรงเรียนในประเทศไทย หรือในอาเซียน  หากไม่มั่นใจก็ยังไม่ควรให้ผลการประเมินในระดับนี้ เพื่อผลักดันในโรงเรียนมุ่งมั่นยกระดับสู่ความสำเร็จระดับสูงหรือนานาชาติ ในอนาคต(ปัจจุบัน ประเทศไทยมีคุณภาพอยู่ในระดับล้าหลังของประเทศในอาเซียน หรือในโลก  อันดับ 7 หรือ 8 อาเซียน หรือ 50 กว่า ๆ ในอันดับโลก)

วันอังคารที่ 11 มิถุนายน พ.ศ. 2562

เรื่องที่ 19 ถ้าสถานศึกษาบกพร่องใน RED ZONE จะให้ระดับคุณภาพเป็นดีมากหรือดีเยี่ยม ได้หรือไม่

  ในปี 2559 คณะอนุกรรมการยุทธศาสตร์ ของคณะกรรมการพัฒนาระบบประกันคุณภาพระดับการศึกษาขั้นพื้นฐาน(กพพ.) ได้ร่วมกันประชุมเพื่อกำหนดทิศทางการพัฒนางานประกันคุณภาพภายนอกของ สมศ. โดยเฉพาะในระดับการศึกษาขั้นพื้นฐาน  ได้มีการกล่าวถึง Red Zone Indicators หรือ Critical Indicators ที่ถือเป็นตัวบ่งชี้สำคัญที่สถานศึกษาจะบกพร่องไม่ได้  ถ้าบกพร่องในตัวบ่งชี้สำคัญ จะได้รับการจัดอันดับคุณภาพไม่เกินระดับ พอใช้/ปานกลาง(เกรด C)  ทั้งนี้ ในการประชุมกรรมการ กพพ.เมื่อวันที่ 11 มิถุนายน 2562  รศ.นพ.สุริยเดว  ตรีปาตี กรรมการท่านหนึ่งก็เสนอให้ทบทวนและใช้ Red Zone Indicators  เป็นตัวบ่งชี้สำคัญ ในการกำกับคุณภาพ กล่าวคือ  ถ้าสถานศึกษาบกพร่องในเรื่องเหล่านี้ ไม่ควรอย่างยิ่งที่จะตัดสินคุณภาพให้อยู่ในระดับ 4-ดีมาก หรือ 5-ดีเยี่ยม  ตัวบ่งชี้สำคัญ เช่น

             สำหรับสถานศึกษระดับปฐมวัย/ศูนย์พัฒนาเด็กเล็ก...Red zone  คือ "ความปลอดภัยสำหรับเด็ก" เช่น (1) สิ่งแวดล้อมปลอดภัย  ..ความปลอดภัยด้านอาคาร สถานที่ เครื่องเล่น ระบบรถรับส่ง ฯลฯ (2) ความปลอดภัยด้านอาหาร (3) ความปลอดภัยด้านโรคภัย ตามฤดูกาล และ (4) ความปลอดภัยด้านสุขภาพจิต ความอบอุ่นในชีวิต การไม่ตี ข่มขู่ และ (5) ระบบดูแลเด็กที่มีพัฒนาการช้ากว่าปกติ หรือเด็กที่มีความต้องการพิเศษ

            สำหรับสถานศึกษาระดับประถมศึกษา  Red zone คือ  (1) ทักษะการอ่านเก่ง/จับใจความได้ ของนักเรียนชั้น ป.3  และการเป็นนักอ่าน ของนักเรียนชั้น ป.4 เป็นต้นไป (2) ความมุ่งมั่นในการแก้ปัญหาเด็กบกพร่องหรือกลุ่มเรียนช้า(ถ้ามี)  (3) ความมีวินัยและความสามารถในการดูแลตนเองของนักเรียนชั้นป.5-6

            สำหรับสถานศึกษาระดับมัธยมศึกษา Red zone คือ (1) นิสัยรักการอ่าน-การอ่านแบบสะสมไมล์ ของนักเรียนชั้นมัธยมศึกษาปีที่ 3  (2) ปัญหาพฤติกรรม ปัญหาชู้สาว การตีกันระหว่างสถานศึกษา  (3) ความพยายามในการแก้ปัญหาเด็กอ่านไม่ออกหรือไม่คล่อง หรือเรียนช้า(ถ้ามี)  (3) ความพยายามแก้ปัญหาพฤติกรรมไม่พึงประสงค์ของนักเรียน (4) ความรับผิดชอบต่อครอบครัว ของนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3  

...ผู้ประเมินอาจใช้เหตุผล เกี่ยวกับความบกพร่องในรายการ RED ZONE Indicator  เป็นเงื่อนไขที่ไม่สามารถให้ระดับคุณภาพเป็น 4-ดีมาก  หรือ 5-ดีเยี่ยม ทั้งๆ ที่ในภาพรวม โรงเรียนมีพัฒนาการต่อเนื่อง 2-3 ปี เป็นส่วนใหญ่ของรายการที่กำหนด หรือมีนวัตกรรมที่หลากหลาย

เรื่องที่ 18 : กรณีศึกษา การจำแนกระดับคุณภาพในการประเมินภายนอกของ สมศ.



หลักการของ สมศ. ในการประเมินรอบสี่ : ใช้กลไกการประเมินภายนอกเพื่อกระตุ้นให้สถานศึกษาเกิดการพัฒนาคุณภาพอย่างต่อเนื่อง


การสร้างมาตรวัดที่อิง GROWTH MODEL :  ในการประเมินรอบสี่  สมศ. มุ่งประเมินความเข้มแข็งหรือความเฉียบคมของระบบประกันคุณภาพภายในของสถานศึกษา โดยเชื่อว่า ถ้าสถานศึกษาดำเนินการประกันคุณภาพภายในอย่างจริงจังและต่อเนื่อง โดยนำผลการประเมินตนเองไปใช้ในการปรับปรุงพัฒนาคุณภาพงานในปีถัดไป อย่างต่อเนื่อง นอกจากจะเห็นผลในแง่ความเปลี่ยนแปลงของกระบวนการบริหารจัดการแล้ว น่าจะเห็นพัฒนาการด้านผู้เรียนอย่างชัดเจน เป็นรูปธรรม(คุณภาพในปีหลัง สูงกว่าปีก่อน) ในการนี้ จึงได้กำหนดมาตรวัด ในการตัดสินคุณภาพแบบอิงพัฒนาการ  เช่น กรณีตัดสินคุณภาพของการประกันคุณภาพด้านผู้เรียน กำหนดมาตรวัดคุณภาพ ดังนี้


                                5-ดีเยี่ยม = ถ้าผู้เรียนมีพัฒนาการต่อเนื่อง และโรงเรียนมีนวัตกรรมด้านการพัฒนาผู้เรียน ที่หลากหลาย

                            4-ดีมาก =  คุณภาพเป็นไปตามเป้าประสงค์ และคุณภาพผู้เรียนมีพัฒนาการดีขึ้นอย่างต่อเนื่อง ในระยะ 2-3 ปีล่าสุด (คุณภาพปีหลัง สูงกว่าปีก่อน) 
                      3-ดี   =  องค์ประกอบ ตัวบ่งชี้ เกณฑ์การตัดสิน  แผนงาน/โครงการ/กิจกรรมพัฒนา มีความเหมาะสม เป็นไปได้  และผลการประเมินตนเองเชื่อถือได้ คุณภาพเป็นไปตามเป้าประสงค์ที่กำหนด
                 2-พอใช้ = บกพร่องบางรายการ
            1-ปรับปรุง = บกพร่องหลายรายการ

   ตามนัยของมาตรวัดหรือมาตรในการตัดสินคุณภาพข้างต้นนี้  โรงเรียนใด ๆ จะได้รับการตัดสินคุณภาพในระดับ 4-ดีมาก ก็ต่อเมื่อ ปรากฏหลักฐานเชิงประจักษ์ว่า คุณภาพผู้เรียนในปีหลัง มีแนวโน้มดีกว่าปีก่อน


สมมติว่าท่านเป็นผู้ประเมินภายนอกของ สมศ. ขอให้ลองตัดสินให้ระดับคุณภาพของผู้เรียน ในกรณีศึกษา ต่อไปนี้



Case Study : สถานศึกษาแห่งหนึ่ง เป็นสถานศึกษาที่มีชื่อเสียง มีโอกาสคัดเลือกเด็กที่มีพื้นฐานเรียนดีจากทั่วประเทศ เข้าเรียนในชั้นมัธยมศึกษาปีที่ 1 ในการนี้ มีนักเรียนที่มีพื้นฐานทางการเรียนระดับปานกลาง หรืออ่อน ได้รับการฝากเข้าเรียนประมาณ 8-10 % ของเด็กทั้งหมด  เมื่อถึงชั้น ม.3 ปรากฏผลการทดสอบด้านวิชาการ ดังนี้
นักเรียนมากกว่า 90 %  สอบโอเน็ตได้คะแนนสูงกว่า 70 % ของคะแนนเต็ม มีค่าเฉลี่ยโอเน็ต 3 ปีล่าสุดเท่ากับ  87.26,  87.24  และ 87.23 ตามลำดับ สูงเป็นอันดับที่หนึ่งของประเทศ ในทุกปี
มีนักเรียนที่ได้คะแนน โอเน็ตต่ำกว่า ร้อยละ 50 ของคะแนนเต็ม คิดเป็นร้อยละ 9.87, 9.65 และ 9.65 ของนักเรียทั้งหมดในแต่ละรุ่น ตามลำดับ
โรงเรียนประเเมินตนเอง ด้านผลสัมฤทธิ์ทางการเรียนว่ามีคุณภาพระดับ ยอดเยี่ยม  ยอดเยี่ยม และ ยอดเยี่ยม  3 ปีต่อเนื่อง(เนื่องจากกำหนดเกณฑ์ว่า  ยอดเยี่ยม  คือ นักเรียนมากกว่าร้อยละ 90 ได้คะแนนเฉลี่ยโอเน็ตระดับดีหรือมากกว่า 70 % ของคะแนนเต็ม)

สรุป โรงเรียนนี้ ประเมินตนเองว่าด้านผลสัมฤทธิ์ ได้ระดับคุณภาพ ยอดเยี่ยม 3 ปีต่อเนื่อง(มาตรในการตัดสินคุณภาพภายใน คือ 5-ยอดเยี่ยม  4-ดีเลิศ  3-ดี  2-พอใช้  1-กำลังพัฒนา)
คำถาม : หลังจากที่ผู้ประเมินภายนอกตรวจสอบข้อมูลเชิงประจักษ์ พบว่า ผลการประเมินตนเองในประเด็นนี้ เชื่อถือได้ กล่าว คือ มีเด็กมากกว่า 90 % ได้คะแนนผลสัมฤทธิ์ระดับ ดี(ได้เกิน 70 % ของคะแนนเต็ม)จริง การตัดสินระดับคุณภาพตนเองของโรงเรียนว่ามีคุณภาพระดับยอดเยี่ยมนั้น ถูกต้อง ตรงตามสภาพจริง แล้ว ...ในกรณีนี้ ถ้า พิจารณามาตรวัดคุณภาพแบบอิงพัฒนาการ(Growth Model) ตามเกณฑ์ของ สมศ.(5-ดีเยี่ยม มีพัฒนาการอย่างต่อเนื่องและมีวัตกรรมหลากหลาย,  4-ดีมาก มีพัฒนาการต่อเนื่อง 2-3 ปี,  3-ดี ตัวชี้วัดเหมาะสม เป็นไปได้ ผลการประเมินตนเองเชื่อถือได้ และบรรลุตเป้าประสงค์ของโรงเรียน)  คำถาม คือ 
I. ท่านในฐานะผู้ประเมินภายนอกของ สมศ.จะให้ระดับคุณภาพเกี่ยวกับการประกันคุณภาพผู้เรียนในด้านผลสัมฤทธิ์ทางการเรียนของโรงเรียนแห่งนี้ ในระดับใด
(  ) 5-ดีเยี่ยม มีนวัตกรรมด้านการพัฒนาผลสัมฤทธิ์
(  ) 4-ดีมาก ผลสัมฤทธิ์ทางการเรียนมีพัฒนาการต่อเนื่อง 2-3 ปีล่าสุด
(  ) 3-ดี ตัวชี้วัดเหมาะสม เป็นไปได้ ผลการประเมินตนเองเชื่อถือได้ และบรรลุตาม
     เป้าประสงค์ของโรงเรียน
(  ) 2-พอใช้
(  ) 1-ปรับปรุง
II.โรงเรียนนี้ ควรปรับปรุง พัฒนาตนเอง ในแง่ใด

เรื่องที่ 17 Leniency errors: ความคลาดเคลื่อนในเชิงการปล่อยคะแนนสูงกว่าหรือต่ำกว่าความเป็นจริง


ในการประเมินผลภายในหรือประเมินภายนอก บ่อยครั้งที่นักประเมินมีแนวโน้มที่จะปล่อยคะแนนสูงมากกว่าปกติ หรือต่ำกว่าปกติ โดยในกรณีของประเทศไทย มักมีแนวโน้มปล่อยคะแนนสูงกว่าปกติ ไม่ตรงตามสภาพจริง ซึ่งอาจเนื่องมาจากเครื่องมือหรือมาตรประเมินที่ขาดความเป็นปรนัย หรือมีความเกรงใจ กลัวว่าผู้รับการประเมินอาจจะไม่พอใจ กลายเป็นการประเมินแบบเอาใจเพื่อความสบายใจของผู้รับการประเมิน(Charity Model)

   จากประสบการณ์ ที่พบเห็นผลการประเมินภายนอกรอบที่ 2-3(2549-2553, 2554-2558) รวมถึงการประเมินเชิงนำร่องในรอบที่ 4(2559-2563) พบว่า  ในขณะที่ผลการประเมินด้านผู้เรียนได้ระดับคุณภาพระดับพอใช้หรือควรปรับปรุง แต่ผลการประเมินด้านบริหารหรือการสอน ได้คะแนนระดีบดี-ดีมาก ซึ่งน่าจะไม่สมเหตุสมผล  กล่าวคือ ถ้า ถ้ากระบวนการบริหารและกระบวนการจัดการเรียนการสอนดีมากหรือยอดเยี่ยมจริงๆ  คุณภาพด้านผู้เรียนก็น่าจะอยู่ในระดับดี-ดีมาก เช่นกัน(ตามหลักของ ห่วงโซ่คุณภาพ) (ผู้ประเมินอาจตัดสินผลด้านผู้เรียนที่ตรงตามสภาพจริง โดยไม่ต้องเกรงใจนักเรียน  แต่ด้านบริหารและการสอน อาจจะมีความเกรงใจหรือกังวลใจกับผลกระทบเชิงลบต่ผู้บริหารและครู หากประเมินต่ำเกินไป

การประเมินที่ปล่อยคะแนนสูงกว่าปกติ เกิดผลดี-ผลเสีย อย่างไร
ข้อดี : ทำให้ทุกคนที่เกี่ยวข้อง สบายใจ มีความสุข ที่ได้รับการชื่นชม ว่ามีคุณภาพระดับ "ดีเยี่ยม"(ถ้าผลการประเมินตรงตามสภาพจริง เด็กส่วนใหญ่ หรือมากกว่าร้อยละ 90 มีคุณภาพ ก็มีปัญหาไม่มากนัก แต่เด็กจำนวนหนึ่ง 9-10 % ก็อาจถูกทอดทิ้งหรือละเลย)
ข้อเสีย
1. ทำให้ผู้รับการประเมินไม่ทราบสภาพที่แท้จริงของตนเอง หลงว่ามีคุณภาพระดับสูง(เนื่องจากผลการประเมินระบุว่า ดีเยี่ยม  ดีเยี่ยม และดีเยี่ยม ในทุกด้าน  ทำให้ลดทอนความมุ่งมั่นในการพัฒนา
2. ทำให้สถานศึกษาไม่ทราบจุดอ่อนของตนเอง เด็กจำนวนหนึ่งที่ยังคงเป็นเด็กกลุ่มเสี่ยง กลุ่มอ่อน หรือกลุ่มที่ยังไม่มีคุณลักษณะอันพึงประสงค์  9-10 %  ตกอยู่ในสภาพเดิม รุ่นแล้ว รุ่นเล่า
3. โรงเรียนชั้นนำ จำนวนหนึ่ง เมื่อได้รับการการันตีว่า ดีเยี่ยมในทุกด้าน หรืออยู่ในกลุ่มยอดเยี่ยมของประเทศ จะไม่มีพลังหรือไม่มีแรงขับ ในการขับเคลื่อนสู่มาตรฐาสากล หรือแข่งขังระดับนานาชาติ ทำให้ประเทศเสียโอกาส

...หน้าที่ของนักประเมิน คือ การใช้กลไกการประเมินเพื่อกระตุ้นให้เกิดการพัฒนา อย่างต่อเนื่อง ตามบริบทของสถานศึกษา กล่าวคือ ถ้าสถานศึกษามีโอกาสคัดเด็กคุณภาพสูงเข้าเรียน ก็ควรทุ่มเทเพื่อความเป็นเลิศมากยิ่งขึ้น หรือพัฒนาเด็กให้เป็นเลิศในเกือบทุกด้าน ไม่ใช่พอปรากฏค่าเฉลี่ยหรือร้อยละของเด็กที่มีคุณภาพ  เปอร์เซ็นต์ค่อนข้างสูงมากเพีงบางด้าน(ด้านผลสัมฤทธิ์)แล้ว เราก็พอใจ...


วันเสาร์ที่ 8 มิถุนายน พ.ศ. 2562

เรื่องที่ 16 ถ้า ร.ร.ประเมินตนเองอยู่ในระดับดีเลิศ อย่างต่อเนื่อง แสดงถึงการไม่มีพัฒนาการใช่หรือไม่?

   ในสถานการณ์ปัจจุบันที่ ร.ร.กำหนดเกณฑ์การตัดสินคุณภาพภายใน เป็น 1-กำลังพัฒนา 2-ปานกลาง 3-ดี  4-ดีเลิศ  และ 5-ยอดเยี่ยม...หากโรงเรียนแห่งหนึ่งประเมินตนเอง เช่น ประเมินด้านผู้เรียนว่า มีคุณภาพระดับ 4-ดีเลิศ มาอย่างต่อเนื่อง ใน 3 ปี ล่าสุด..แสดงว่าโรงเรียนนั้นไม่มีพัฒนาการ(Imptovement/Growth) ใช่หรือไม่  ผู้ประเมินภายนอก สมศ. ไม่สามารถให้ระดับคุณภาพในการประเมินภายนอก ในระดับ 4-ดีมาก(มีพัฒนาการอย่างต่อเนื่อง) ใช่หรือไม่
   คำตอบ ในข้อสงสัยข้างต้น คือ
   1.ใช่  ไม่สามารถให้ระดับคุณภาพ 4-ดีมาก ได้ หากโรงเรียนอธิบายไม่ไม่ได้ว่า คุณภาพผู้เรียนมีพัฒนาดีขึ้น ในประเด็นต่างๆ ตามที่โรงเรียนกำหนด อาทิ ด้านทักษะการอ่าน  ด้านความสามารถในการคิดวิคราะห์ ด้านทักษะไอ ซี ที ฯลฯ
   2.ไม่ใช่...อาจให้ระดับคุณภาพ 4-ดีมาก ได้หากสถานศึกษาอธิบายได้ว่าหรือมีหลักฐานเชิงประจักษ์ว่าคุณภาพด้านผู้เรียนมีแนวโน้มหรือมีพัฒนาการดีขึ้นอย่างต่อเนื่อง(แม้ระดับคุณภาพโดยรวม ไม่เปลี่ยน คืออยูในระดับ 4-ดีเลิศ) เช่น ร้อยละของด็ก ที่ได้ O-NET น้อยกว่า 40% มีแนวโน้มลดลง จนเกือบหมดไป  หรือ ด้านทักษะไอ ซี ที เดิมเคยมีเด็กที่มีทักษะระดับปานกลาง-ต้องปรับปรุง ประมาณ 10 %  2 ปีต่อมาลดเหลือ 6 % และ 2 % ในปีล่าสุด ซึ่งในปีต่อไป คาดว่าน่าจะ NO CHILD LEFT BEHIND  เป็นต้น...ถ้า ร.ร.อธิบายได้หรือมีหลักฐานชัดเจนว่าคุณภาพด้านผู้เรียน มีพัฒนาการดีขึ้น เป็นส่วนใหญ่ของประเด็นคุณภาพที่กำหนด เช่นนี้  ผู้ประเมินภายนอกก็สามารถให้ระดับคุณภาพในการประเมินภายนอก เป็น 4-ดีมาก หรือมีพัฒนาการดีขึ้นอย่างต่อ้นื่องใน2-3 ปีหลัง ได้

วันอังคารที่ 4 มิถุนายน พ.ศ. 2562

เรื่องที่ 15 หากคุณภาพด้านผู้เรียนไม่มีพัฒนาการดีขึ้น จะถือว่ากระบวนการบริหารและการสอน มีคุณภาพได้หรือไม่

ตามหลักห่วงโซ่คุณภาพ :

   กระบวนการบริหารจัดการ+กระบวนการสอนที่มีประสิทธิภาพ >>>จะนำไปสู่คุณภาพด้านผู้เรียนหรือทำให้ผู้เรียนมีคุณภาพ 

สถานการณ์ผลการประเมินและคำถาม

   ในการประเมินภายนอกโดย สมศ. ในกรณีที่สถานศึกษา ได้รับการตัดสินคุณภาพด้านผู้เรียนว่ามีคุณภาพในระดับดี กล่าวคือ (1) ตัวชี้วัด และแผนงาน/โครงการพัฒนา มีความเหมาะสม เป็นไปได้ และ(2) ผลการประเมินตนเองเชื่อถือได้..จึงได้ผลการประเมินระดับ 3-ดี ....แต่ไม่มีหลักฐานเชิงประจักษ์ว่าคุณภาพผู้เรียนมีพัฒนาการดีขึ้นอย่างต่อเนื่อง(โรงเรียนจะได้รับการตัดสินคุณภาพระดับ 4-ดีมาก ถ้า คุณภาพด้านผู้เรียน มีพัฒนาการดีขึ้นอย่างต่อเนื่อง)....คำถาม คือ ในกรณีเช่นนี้  ผลการประเมินคุณภาพด้านกระบวนการบริหารจัดการและกระบวนการสอน(ซึ่งเป็นตัวแปรสาเหตุ) จะได้รับการตัดสินว่ามีคุณภาพระดับ "ดีมาก-4" ได้หรือไม่

....(คอยติดตามคำตอบนะครับ)