Accuracy ไม่ใช่ทุกอย่าง : คุณค่าจริงๆ ต่างหากที่สำคัญ

ทุกครั้งที่มีการนำเสนอระบบ AI ให้กับองค์กร คำถามยอดฮิตที่มักถูกหยิบยกขึ้นมาแทบจะทันทีคือ “AI ตัวนี้มีความแม่นยำ (accuracy) เท่าไหร่?” ตัวเลขนี้ดูเหมือนจะเป็นตัวชี้วัดสำคัญที่ช่วยให้ตัดสินใจได้ง่ายขึ้น ว่าระบบนั้นดีหรือไม่ดี น่าเชื่อถือหรือเปล่า

แต่ในความเป็นจริงแล้ว การโฟกัสไปที่ accuracy เพียงอย่างเดียว อาจทำให้เรามองข้ามปัจจัยสำคัญอื่นๆ ที่ส่งผลต่อความสำเร็จของการใช้งาน AI ในองค์กร ไม่ว่าจะเป็นบริบทของข้อมูล กระบวนการทำงานจริง หรือแม้แต่ความคาดหวังของผู้ใช้งาน และบ่อยครั้ง การยึดติดกับตัวเลขเพียงตัวเดียว อาจนำไปสู่การเลือกโซลูชันที่ไม่เหมาะสม หรือสรุปว่า AI “ใช้ไม่ได้ผล” ทั้งที่ปัญหาที่แท้จริงไม่ได้อยู่ที่ตัว AI เลย

What is Accuracy Anyway? แม่นคืออะไร และทำไมต้องระวัง

Accuracy ในทางเทคนิคคือการนับรวมว่า AI บอกสิ่งที่ใช่และไม่ใช่ได้ถูกตามนั้นมากขนาดไหน ฟังดูชัดเจน แต่ทุกครั้งต้องถามต่อว่า วัดมาจากอะไร? สะท้อนการใช้งานจริงมั้ย?

การตั้งคำถามถึง accuracy ในห้องประชุมกับ AI vendor แต่ละเจ้า ซึ่งเจ้าที่หนึ่งอาจจะบอกว่า accuracy 99% ส่วนเจ้าที่สอง บอก 90% ไม่สามารถนำมาเทียบกันได้เลย เพราะเราไม่รู้ว่าชุดข้อมูลที่แต่ละเจ้าใช้ทดสอบยากง่ายหรือต่างกันแค่ไหน และที่หนักสุดคือ มันตรงกับงานของเราจริงๆหรือเปล่า?

ตัวอย่างที่เห็นบ่อย:

AI อ่านลายมือ : หลายเจ้าอ้างว่าได้ 90%+ แต่นั่นมาจากลายมือเรียงความที่เป็นระเบียบ มีบริบทภาษาช่วยเดา พอให้อ่านลายมือชื่อที่กรอกบนแบบฟอร์มจริงๆ ตัวเลขนั้นหายไปทันที

ตรวจจับโรคจากภาพฟิล์ม : สมมติโรคนี้พบแค่ 1 ใน 100 ราย ถ้า AI ตอบว่า “ไม่เป็น” ทุกครั้ง ได้ accuracy 99% ทันที แต่ไม่มีประโยชน์ใดๆ ในการใช้งานจริง (Tips: ควรดู precision กับ recall แทน)

Generative AI ตอบคำถาม : การวัด accuracy มักเป็นเรื่อง subjective เพราะคำตอบของ Generative AI ไม่ได้ตายตัว วัดกันตรงๆยาก ยกเว้นจะให้ตอบแบบปรนัย

Accuracy เป็นแค่ snapshot เดียวของ AI

AI ชั้นนำอย่าง GPT, Claude หรือ Gemini มีการวัดผลกับ standard benchmark ที่วงการยอมรับ แต่แม้แต่อย่างนั้นก็ควรถือเป็นแค่ภาพ snapsnot บางส่วน ไม่ใช่คำตอบสุดท้าย เพราะ AI แต่ละรุ่นบางทีก็แพ้ชนะกันคนละ metric และตัวเลขบน benchmark ระดับโลกก็ไม่ได้รับประกันว่าจะทำงานได้ดีในบริบทภาษาไทย เนื่องจากส่วนใหญ่ไม่ได้วัดภาษาไทยไว้ แล้วก็ไม่ค่อยมีให้ใช้วัด (Tips: โมเดลนั้นต้องแสดง multilingual capability ด้วย ถึงจะมีหวัง ดีกว่านั้น ต้องเอามาลองใช้ในโจทย์ของเราดูให้เห็นกับตา)

นอกจาก accuracy แล้ว ควรดู metric อื่นประกอบด้วย เช่น:

• Relevance : คำตอบเกี่ยวตรงจุดแค่ไหน?
• Groundedness : อยู่ในร่องในรอยข้อมูลอ้างอิง หรือแต่งเรื่องขึ้นมาเอง?

ให้นึกภาพคนตาบอดคลำช้าง วัดคนละที่ก็บอกคนละด้าน ต้องดูหลาย metric ประกอบกัน ถึงจะได้ภาพที่ชัดว่า AI ตัวนี้ใช้ได้จริงไหม

Accuracy ไม่ใช่ทุกอย่าง คุณค่าต่างหากที่สำคัญ

ไม่ว่า AI จะแม่นยำแค่ไหน ถ้าไม่ปรับกระบวนการทำงานและ mindset การนำไปใช้ให้ดี AI ที่ “99%” ก็อาจสร้างคุณค่าน้อยกว่า AI ที่ตัวเลขต่ำกว่าแต่ถูกนำไปใช้อย่างถูกต้อง

เรื่องจริงจากงานที่ทำมา:

✅ องค์กรหนึ่งตั้งธงไว้ว่า accuracy ต้องได้ 95% ก่อนจะยอมใช้ แต่พอเริ่มทำงานร่วมกันจริง ทำความเข้าใจกันว่า AI อ่านถูกตรงไหน ผิดตรงไหน และทำไม ก็เกิดการปรับกระบวนการทำงานที่ดีขึ้น ผลลัพธ์คือ แม้วัด accuracy ได้แค่ 85% แต่ผู้ใช้งานลดงานได้เกือบ 50% เพราะออกแบบกระบวนการนำ AI ไปใช้อย่างเหมาะสม

❌ ในทางตรงข้าม อีกองค์กรยืนยันว่า AI ต้องผ่าน 97% ก่อนถึงจะปล่อยใช้งาน ผลที่ตามมาคือเกิด overfitting AI ถูกสอนให้ทำถูกเฉพาะกับชุดทดสอบ (ซึ่งดูเหมือนจะไม่ตรงความคาดหวังของผู้ใช้มากนัก หรือไม่ได้มีการสื่อสารข้อจำกัด) จนเสียความสามารถในการรับมือกับคำถามที่ไม่เคยเห็น พอใช้งานจริง คำถามนอกชุดทดสอบพังหมด สร้างประสบการณ์ที่ไม่ดีทำให้การนำไปใช้ไม่ประสบความสำเร็จเท่าที่ควร

สรุป

อย่าถามแค่ว่า “accuracy เท่าไหร่” แต่ถามว่า “วัดมาจากอะไร ตรงกับงานของเราหรือเปล่า มุมมองจากการวัดตัวอื่นเป็นอย่างไร และเราวางแผนจะใช้มันอย่างไร” อย่ายึดมั่นถือมั่นหลับหูหลับตาใช้แต่ Accuracy จนละเลยผลประโยชน์ที่แท้จริงที่อาจจะอยู่ตรงหน้าอยู่แล้ว การที่มีผลพอใช้ได้แล้วนำไปใช้จริงว่าโอเคมั้ย น่าจะเป็นตัวบ่งบอกได้ดีที่สุด มากกว่าการไม่ไปต่อเพียงเพราะตัวเลข accuracy ไปไม่ถึงที่ตกลง(บังคับ)ไว้ครับ!

โฟกัสที่คุณค่าที่แท้จริง จะได้ไม่บ่นว่าไม่เห็น ROI