Alibaba DAMO Academy ประกาศเปิดตัว SeaLLMs จุดเริ่มต้นของโมเดลด้านภาษาขนาดใหญ่ (LLM) ประกอบด้วยเวอร์ชันที่มี 13 พันล้านพารามิเตอร์ และเวอร์ชัน 7 พันล้านพารามิเตอร์ โมเดล LLM ทั้งสองนี้ออกแบบมาอย่างเจาะจงให้สามารถรองรับความหลากหลายของภาษาที่ใช้ในเอเชียตะวันออกเฉียงใต้
โมเดลทั้งสองเวอร์ชันนี้แสดงให้เห็นถึงความรุดหน้าทางเทคโนโลยีที่ครอบคลุม โดยให้การสนับสนุนที่เหมาะสมที่สุดให้กับภาษาท้องถิ่นต่าง ๆ ในภูมิภาค คือ ภาษาเวียดนาม ภาษาอินโดนีเซีย ภาษาไทย ภาษามาเลย์ ภาษากัมพูชา ภาษาลาว ภาษาตากาล็อก และภาษาพม่า โมเดลการสนทนา SeaLLM-chat ต่าง ๆ ล้วนแสดงให้เห็นความสามารถในการปรับให้เข้ากับโครงสร้างทางวัฒนธรรมที่เป็นเอกลักษณ์ของแต่ละท้องถิ่นได้อย่างยอดเยี่ยม สอดคล้องกับประเพณี สไตล์ และกรอบด้านกฎหมายในท้องถิ่นนั้น ๆ ทั้งยังเป็นผู้ช่วยแชทบอทที่ทรงประสิทธิภาพที่ช่วยให้ธุรกิจต่าง ๆ ได้มีส่วนร่วมในทุกตลาดในภูมิภาคนี้
ปัจจุบัน SeaLLMs เปิดเป็นโอเพ่นซอร์สบน Hugging Face พร้อมเผยแพร่จุดตรวจสอบสาธารณะและพร้อมใช้งานด้านการวิจัยและเชิงพาณิชย์
นายหลี่ตงปิง ผู้อำนวยการ Language Technology Lab ของ Alibaba DAMO Academy กล่าวว่า “เราพยายามอย่างต่อเนื่องเพื่อลดความเหลื่อมล้ำทางเทคโนโลยี และยินดีอย่างยิ่งที่ได้เปิดตัว SeaLLMs ซึ่งเป็นชุดโมเดล AI ที่ไม่เพียงเข้าใจภาษาท้องถิ่นต่าง ๆ แต่ยังเปิดรับความหลากหลายและความมั่งคั่งทางวัฒนธรรมของภูมิภาคเอเชียตะวันออกเฉียงใต้อีกด้วย นวัตกรรมนี้ช่วยเร่งการเข้าถึงและใช้ AI ได้อย่างกว้างขวาง เพื่อเสริมศักยภาพให้ชุมชนต่าง ๆ ที่มีบทบาทน้อยในอดีต ให้มีส่วนร่วมมากขึ้นในโลกดิจิทัล”
นายลู อันห์ ตวน ผู้ช่วยศาสตราจารย์ คณะวิทยาการคอมพิวเตอร์และวิศวกรรมศาสตร์ (SCSE) แห่งมหาวิทยาลัยเทคโนโลยีนันยาง ซึ่งเป็นพันธมิตรระยะยาวของอาลีบาบาในด้านการศึกษาเกี่ยวกับ AI หลายภาษา กล่าวถึงความรู้สึกนี้ว่า “ความก้าวหน้าในการสร้าง LLM หลายภาษาของอาลีบาบานั้นน่าประทับใจ ศักยภาพของการริ่เริ่มนี้สามารถปลดล็อกโอกาสใหม่ ๆ มากมายให้กับผู้คนนับล้านที่พูดภาษาอื่น ๆ ที่ไม่ใช่ภาษาอังกฤษและภาษาจีน ความพยายามของอาลีบาบาในการสนับสนุนเทคโนโลยีที่สามารถใช้งานได้ในวงกว้างได้มาถึงจุดสำคัญของการเปิดตัว SeaLLMs”
โมเดล SeaLLM-base ได้รับการฝึกอบรมล่วงหน้า (pre-training) ด้วยชุดข้อมูลหลากหลายที่มีคุณภาพสูงและครอบคลุมภาษาต่าง ๆ ในภูมิภาคเอเชียตะวันออกเฉียงใต้ เพื่อให้มั่นใจได้ว่าโมเดลนี้จะสามารถเข้าใจบริบทท้องถิ่นและการสื่อสารในท้องถิ่นอย่างลึกซึ้ง งานพื้นฐานนี้วางรากฐานให้กับโมเดล SeaLLM-chat ซึ่งใช้ประโยชน์จากเทคนิคการปรับแต่งขั้นสูงและชุดข้อมูลหลายภาษาที่สร้างขึ้นเอง จึงทำให้ผู้ช่วยแชทบอทที่ใช้โมเดลเหล่านี้ไม่เพียงแต่เข้าใจภาษา แต่ยังเคารพและสะท้อนบริบททางวัฒนธรรมของภาษาต่าง ๆ ในภูมิภาคได้อย่างถูกต้อง เช่น บรรทัดฐานทางสังคมและประเพณี สำนวนและรูปแบบภาษาที่เป็นที่นิยมใช้ และข้อพิจารณาทางกฎหมาย
ข้อได้เปรียบทางเทคโนโลยีที่โดดเด่นของ SeaLLMs คือประสิทธิภาพที่มีต่อภาษาต่าง ๆ โดยเฉพาะกับภาษาที่ไม่ใช่ภาษาละติน โดยสามารถตีความและประมวลผลข้อความได้ยาวกว่าโมเดลอื่น เช่น ChatGPT for non-Latin languates เช่น ภาษาพม่า ภาษากัมพูชา ภาษาลาว และภาษาไทยได้ถึง 9 เท่า (หรือโทเค็นน้อยกว่าสำหรับข้อความที่ยาวเท่ากัน) นั่นหมายถึงมีความสามารถในการดำเนินงานที่ซับซ้อนมากขึ้น สามารถลดค่าใช้จ่ายในการดำเนินงานและการคำนวณ และลดผลกระทบต่อสิ่งแวดล้อม
นอกจากนี้ SeaLLM-13B ที่มีพารามิเตอร์มากถึง 13 พันล้านตัว ยังเหนือกว่าโมเดลโอเพ่นซอร์สอื่น ๆ ที่เทียบเคียงได้ ในด้านการทำงานหลากหลายที่เกี่ยวกับภาษา ความรู้ และความปลอดภัย เป็นการสร้างมาตรฐานใหม่ด้านประสิทธิภาพ และเมื่อทำการประเมินด้วยเกณฑ์มาตรฐาน M3Exam (เกณฑ์มาตรฐานที่ประกอบด้วยข้อสอบจากโรงเรียนประถมศึกษาจนถึงการสอบเข้ามหาวิทยาลัย) SeaLLMs แสดงความเข้าใจสาขาวิชาต่าง ๆ อย่างลึกซึ้ง ไม่ว่าจะเป็นวิทยาศาสตร์ เคมี ฟิสิกส์ ไปจนถึงเศรษฐศาสตร์ และในภาษาที่ใช้ในเอเชียตะวันออกเฉียงใต้ ซึ่งนับเป็นประสิทธิภาพที่เหนือกว่าโมเดลอื่นในรุ่นเดียวกัน
SeaLLMs มีประสิทธิภาพอยู่ในระดับเป็นเลิศตามเกณฑ์มาตรฐานของ FLORES ซึ่งประเมินความสามารถด้านการแปลภาษาด้วยเครื่อง (machine translation) ระหว่างภาษาอังกฤษ และภาษาที่มีแหล่งข้อมูลที่จะใช้ในการเทรนด์ระบบ AI ด้านการสนทนาน้อยมาก เช่น ภาษาลาว และภาษากัมพูชา SeaLLMs เหนือกว่าโมเดลอื่นที่ใช้อยู่กับภาษาที่มีแหล่งข้อมูลน้อยเหล่านี้ และมอบประสิทธิภาพที่ทัดเทียมกับโมเดลล้ำสมัยที่ใช้กับภาษาที่มีแหล่งข้อมูลมาก เช่น ภาษาเวียดนามและอินโดนีเซีย
ซีรีส์ SeaLLMs ของ Alibaba DAMO Academy ไม่เพียงเป็นความล้ำหน้าด้าน AI แต่ยังเป็นก้าวย่างสู่อนาคตดิจิทัลที่ครอบคลุมมากขึ้น สามารถดูข้อมูลเชิงลึกเกี่ยวกับความสามารถและผลที่ได้จาก SeaLLMs ได้ที่เพจของ Hugging Face: SeaLLMs – Language Models for Southeast Asian Languages และดูข้อมูลการสนับสนุนด้านเทคนิคได้ที่: https://arxiv.org/abs/2312.00738