AI กับความท้าทายของภาษาไทย จากเหตุการณ์ Gemini ลิมิตการแปลภาษาอื่น (ชั่วคราว)

Marketing
March 9, 2024
Written for you by
S. Wirat, Managing Director

สารบัญ

สวัสดีครับทุกคน แคร์ดิจิตัลอยากมาคุยกันเรื่อง AI กันหน่อยครับเพราะในช่วงไม่กี่เดือนที่ผ่านมานี้ เราก็ได้ลองทดสอบ AI เองหลายตัวเลยทีเดียว ต้องบอกว่าในช่วงไม่กี่ปีที่ผ่านมา ปัญญาประดิษฐ์หรือ AI นั้นได้ก้าวหน้าไปอย่างก้าวกระโดดมาก โมเดลอย่าง GPT-4, Claude 3 และ Gemini Advanced 1.5 (ณ เวลาที่เขียนคอนเทนต์นี้) ต่างก็แสดงให้เห็นถึงความสามารถที่น่าทึ่งในการสร้างคำตอบและตอบสนองเรื่องยาก ๆ ที่คุณถามไปได้ แต่มันยังมีสิ่งหนึ่งที่ติดใจเราอยู่ครับ ถึงแม้ Localization หรือการโต้ตอบภาษาไทยเนี่ย ใน Gemini กับ Claude 3 จะสุดยอดมาก ๆ

แต่มันก็ยังไม่สมบูรณ์แบบซะทีเดียว คืออ่านแล้วยังแปลก ๆ ไม่เหมือนคนจริงอยู่ ต้องบอกว่า AI ยังคงเจอกับความท้าทายที่ไม่ธรรมดาสำหรับภาษาปราบเซียนอย่างภาษาไทย (รวมถึงภาษาอื่น ๆ)  รวมไปถึงปัญหาใหญ่ที่เราเจอจาก Gemini ซึ่งบางคนอาจจะสังเกตเห็นในช่วงที่ผ่านมาคือ ปฏิเสธการแปลเป็นภาษาไทยโดยสิ้นเชิงเลย! ในบทความนี้ เราจะมาดูกันว่าตอนนี้ AI ในการประมวลผลภาษาไทยเป็นยังไง มีอุปสรรคอะไรบ้างที่ยังทำให้มันไม่สมบูรณ์ แล้วจะทิศทางต่อไปของการ Localization ภาษาจะเป็นอย่างไรจากการคาดการณ์

สถานการณ์ปัจจุบันของ AI กับภาษาไทย (และภาษาอื่น ๆ)

ต้องบอกว่าโมเดล AI กับภาษาอังกฤษนี่ทำได้แทบจะสมบูรณ์แบบเลยครับ แต่พอมาเจอกับภาษาไทยแล้ว โมเดลอย่าง Claude 3 และ Gemini Advanced ก็ให้ผลลัพธ์ที่น่าประทับใจมาก ๆ ในการสร้างและแปลข้อความภาษาไทย เรียกว่าพัฒนาจาก GPT-4 ขึ้นเยอะมากจนแทบจะโต้ตอบได้แบบไหลลื่นแล้ว

แต่คนไทยแท้ ๆ อย่างเรา ๆ อ่านแล้วก็ยังสังเกตเห็นความผิดปกติบางอย่างในผลลัพธ์ได้อยู่ดี ณ ตอนนี้ ข้อความที่ AI สร้างขึ้นมานั้นอาจเรียกได้ว่าใช้ได้เลยซัก 90% ได้เลยมั้ง ซึ่งก็บ่งบอกว่ายังมีจุดที่ต้องปรับปรุงอีกหลายอย่างก่อนจะเอาไปใช้งานจริง ๆ ได้อย่างเนียน ๆ (เรียกว่าไม่ได้เติมน้ำร้อนแล้วพร้อมทานเลย) ในขณะที่เรายอมรับเลยว่า Claude 3 ใช้งานภาษาไทยได้ดีมาก ๆ แต่เราก็ยังสามารถบอกได้ว่าอันไหน AI หากทำ Blind Test จริง ๆ เหตุผลอาจเป็นเพราะสาเหตุต่อไปนี้

ทำไมภาษาไทยถึงท้าทาย AI ขนาดนี้ล่ะ?

เหตุผลหลัก ๆ ที่ AI มีปัญหากับการประมวลผลภาษาไทยก็คือ โครงสร้างเฉพาะของภาษาไทยนั่นเองครับ สำหรับภาษาอังกฤษด้วยการที่คำแยกจากกันด้วยเว้นวรรค  มันทำให้ง่ายต่อการแยกคำและบริบทครับ จนถึงตอนนี้ที่เทคโนโลยีก้าวล้ำสุด ๆ มุก ‘แปลภาษาด้วย Google Translate มาหรือเปล่า’ ก็ยังอยู่ถึง 2024 เลยครับ มันแสดงให้เห็นถึงปัญหาด้านการแปลภาษาที่ยังไงก็สู้คนแปลไม่ได้เพราะความซับซ้อนนี่แหละ

พอเป็นภาษาไทย ประโยคที่เราใช้กันมันติดกันยาวเหยียดไปหมดแบบไม่มีช่องว่างให้หายใจเลยแม้แต่นิดเดียว สิ่งนี้เลยทำให้โมเดล AI ปวดหัวมากเลยครับว่าจะตีความและสร้างข้อความภาษาไทยยังไงดี ความซับซ้อนแบบนี้ไม่ได้มีแค่ภาษาไทยหรอกนะ ภาษาอื่น ๆ ที่มีลักษณะคล้าย ๆ กันก็เจอปัญหาแบบเดียวกันเลยล่ะครับ คุณลองคิดภาพฝรั่งที่ใช้ภาษาอังกฤษที่มีเว้นวรรคมาทั้งชีวิต มาเรียนภาษาไทยทีต้องหงายหลังกับความติดกันเป็นพืชจนเขาชอบแซวภาษาในเอเชียว่าเป็นเส้นก๋วยเตี๋ยว หรือเส้นมาม่านั่นเอง

ปัญหาที่ตามมา: การกำกับดูแล AI และการแบนเนื้อหา

เมื่อไม่นานมานี้ Gemini เพิ่งอัพเดตอะไรบางอย่างแบบเงียบ ๆ (Google ไม่ได้ประกาศออกมาครับ แต่มีทีมงานเราใช้อยู่แล้วสังเกตทันพอดี) อัพเดทที่ว่าไปบล็อกการแสดงผลกับการแปลภาษาไทยไปเลยแบบอ้อมยังไงก็ไม่ย้อมแปลให้ ทั้งการป้อนว่าเป็นคนไทยก็แล้ว หรือแปลเพื่อการศึกษาเฉย ๆ ก็ยังไม่ยอม (ก่อนหน้านี้คือมีการแบนภาษาไทยบ้าง แต่ยังพอใส่ Prompt อ้อม ๆ ได้)  ซึ่งคาดว่ามาจากการที่ทุกฝ่ายต้องการควบคุมดูแล AI (AI Regulation) ไม่ให้ลามเป็น Skynet ยึดครองโลกนี่แหละครับ (อาจจะไม่ถึงขั้นนั้น แต่ AI ก็มีการตอบกลับเป็นเนื้อหาที่ไม่ควรหลายอย่าง)

แต่การจำกัดขนาดนี้มันส่งผลกระทบกับคำตอบที่ไม่ได้ละเอียดอ่อนอะไรเลย เรียกว่าบล็อคภาษาเลยก็ได้ครับ เลยทำให้ผู้ใช้อย่างเรา ๆ ลำบากไปด้วยแทนที่จะได้ใช้ AI เพื่อจุดประสงค์ที่ถูกต้อง ซึ่งตอนนี้ดูเหมือนว่าจะกลับมาเป็นปกติแล้ว แต่ไม่มีอะไรการันตีได้ว่าจำไม่เกิดเหตุการณ์แบบนี้ขึ้นอีกในอนาคตเมื่อมีการพบคอนเทนต์ที่ไม่เหมาะสมในเน็ตแล้วผู้พัฒนาก็ต้องมาไล่แบน มันจึงเป็นกรณีศึกษาที่ดีให้เราพร้อมรับมือครับ

ทำไมถึงไม่แบนคำหรือเนื้อหาเฉพาะ แต่กลับแบนทั้งภาษาเลย?

ถึงแม้ว่าตอนนี้จะกลับเป็นปกติแล้ว (แต่เราพบว่าด้วย Prompt เดิม การสร้างภาษาไทยดูเก่งน้อยลงไปครับ) เราสามารถพอสันนิษฐานได้ครับว่าเกิดจากความยากของภาษาไทยที่ตัว AI เข้าใจได้ยากนี่แหละ เวลาที่เราป้อนภาษาไทยเข้าไป การจะตีความว่าเนื้อหา Sensitive หรือไม่ AIไม่สามารถฟันธงแบบ 100% เหมือนคนเราได้ครับ ทั้งประโยคและบริบทมันยากเหลือเกิน การตั้งแบนเกือบทั้งหมดของภาษานั้นดูจะง่ายกว่าเยอะ ซึ่งสิ่งนี้ไม่ได้เกิดเฉพาะภาษาไทยนะครับ

ผู้ใช้ Reddit คนนึงต้องการแปลภาษาละตินเพื่อการศึกษา ก็ยังโดนปฏิเสธไม่ยอมแปลให้เลยครับ ถึงแม้จะชี้แจงว่าเพื่อการศึกษาและไม่มีเนื้อหาอะไรไม่ดี ก็ไม่ยอมหยวน ๆ ให้เลยเจ้า AI (คอมเม้นท์ต้นทางบอกว่า แน่ล่ะ ภาษาละตินคือภาษาที่ใช้เรียกปิศาจนี่นา ฮ่าๆ) งั้นทางออกที่ผู้นำเทรนด์ AI ทุกคนสรุปมาคือ การเทรนให้ AI เพื่อใช้ในภาษานั้นเฉพาะน่าจะเป็นทางออก (Localized AI Training)

การฝึก AI แบบ Localized จะช่วยได้มั้ย?

วิธีแก้ปัญหาที่น่าสนใจสำหรับความท้าทายในการประมวลผลภาษาไทยก็คือ การทำ Localization นั่นเอง บริษัทในบ้านเราอย่าง SCB10x ก็กำลังฝึกโมเดล AI โดยใช้ข้อมูลภาษาไทยโดยเฉพาะเลยชื่อโครงการว่า Typhoon ซึ่งพวกเขาบอกว่าโมเดลนี้มีแนวโน้มที่จะทำได้ดีเทียบเท่ากับ GPT-3.5 เลยทีเดียว! เป็นเรื่องดีมาก ๆ ที่เราควรสนับสนุนครับ แต่การฝึก AI แบบ Localization มันก็มีความท้าทายของมันเองเช่นกันครับ

ดาบสองคมของการฝึก AI เฉพาะภาษา

ใช่ครับ การฝึกโมเดล AI น่ะมันกินทรัพยากรและงบประมาณแบบลากเลือดเลย แต่ทรัพยากรที่ดูจะขาดทุนที่สุดในอุตสาหกรรมนี่คือ ‘เวลา’ ครับ กว่าจะฝึกเสร็จ โมเดลใหม่ ๆ ที่เจ๋งกว่าก็ออกมาเพียบ ยกตัวอย่างเช่น GPT-4 นี่มีมาตั้งแต่มีนาคม 2023 (หรือปีที่แล้วนี่เอง) และในช่วงแค่ปีเดียว เราก็ได้เห็น Gemini Advanced 1.5 และ Claude 3 ที่เหนือชั้นกว่า GPT-4 แบบหลายเท่าตัวมาก ๆ ทั้งในแง่ความสามารถและความฉลาดเลยล่ะ เทคโนโลยี AI มันพัฒนาไวยิ่งกว่าอุตสาหกรรมไหน ๆ บริษัทต่าง ๆ เลยลังเลที่จะลงทุนไปกับการฝึกแบบ Localized เพราะกลัวว่ากว่าที่เราฝึกมันจะเสร็จออกมา เราก็ตามหลังไปเยอะเลยครับและมีแนวโน้มว่า User ก็อาจจะไปใช้ตัวใหม่ ๆ มากกว่าแล้ว

สำหรับความเห็นของเรา ถ้า GPT-3.5 ออกมาแล้วสามารถใช้ภาษาไทยได้เก่งพอ ๆ กับเราเลย ผมว่า Use Case มันก็ยังใช้อะไรได้อีกเยอะมากในทางธุรกิจ ด้วยความท้าทายของ AI ในการทำ Localization ภาษาไทยนี่มันซับซ้อนและหลากหลายมิติมาก ๆ ถึงแม้ว่าโมเดลอย่าง Claude 3 และ Gemini Advanced 1.5 จะก้าวหน้าไปมากแล้ว แต่ก็ยังมีช่องว่างอีกเยอะให้ปรับปรุง โดยเฉพาะเวลาต้องรับมือกับภาษาที่มีโครงสร้างซับซ้อนอย่างภาษาไทย การฝึก AI แบบ Localized อาจจะเป็นหนึ่งในคำตอบนะ เราต้องมาดู Real World Test กันอีกทีนึงครับ

แล้วสรุปว่ายังไงต่อดีล่ะกับการฝึกภาษาเจ้า AI?

บริษัทต่าง ๆ ที่ลงทุนก็ต้องมานั่งคิดให้ดี ๆ ทุกรอบเพราะ AI มันวิวัฒนาการไปเร็วมาก ๆ คุณคิดภาพว่า ระหว่างการใช้ GPT-4 กับ Claude 3 Opus เป็นตัวตั้งต้นในการเทรนภาษาไทยโดยเฉพาะ พอทำสำเร็จออกมา Claude 3 Opus ย่อมทำอะไรได้มากกว่าหลายเท่าตัวเลย อัพเดต: GPT4o ถือว่าทำได้ดีเลยครับ แต่เราก็ยังประทับใจ Claude มากกว่าในด้านภาษาไทย

ตอนนี้เรากำลังเดินทางในเส้นทางที่ไม่คุ้นเคยและเปลี่ยนแปลงไวที่สุดเท่าที่มนุษยชาติเคยเจอเลยครับ สิ่งสำคัญคือเราต้องคำนึงถึงประโยชน์ต่อสังคมของการทำ Localization AI ควบคู่ไปกับผลกระทบด้านธุรกิจด้วย แล้วคุณล่ะครับ คิดว่าอนาคตของ AI กับภาษาไทยจะเป็นยังไง? และเราจะหาจุดสมดุลระหว่างการAI กับธุรกิจ รวมไปถึงการควบคุม AI ได้ยังไง?

แชร์คอนเทนต์ให้ทุกคนได้อ่าน

โพสต์อื่นที่น่าสนใจ