สถาบันนวัตกรรมเทคโนโลยีแห่งสหรัฐอาหรับเอมิเรตส์ พลิกโฉมแบบจำลองภาษาด้วยสถาปัตยกรรมใหม่

• Falcon Mamba 7B เป็นแบบจำลองภาษาระดับโลกที่มีประสิทธิภาพสูงสุดในหมวดหมู่ SSLM แบบเปิด (Open Source State Space Language Model) โดยได้รับการยืนยันจาก Hugging Face

• SSLM มีค่าใช้จ่ายด้านหน่วยความจำต่ำ และไม่ต้องใช้หน่วยความจำเพิ่มเติมในการสร้างข้อความยาวๆ ตามต้องการ

• Falcon Mamba 7B มีประสิทธิภาพดีกว่าแบบจำลองสถาปัตยกรรม Transformer แบบดั้งเดิม เช่น Llama 3.1 8B ของ Meta และ Mistral 7B

• แบบจำลองใหม่นี้สะท้อนถึงความคิดริเริ่มและนวัตกรรมของอาบูดาบีในด้านการวิจัยและพัฒนา AI

อาบูดาบี สหรัฐอาหรับเอมิเรตส์–(BUSINESS WIRE)–12 สิงหาคม 2024

สถาบันนวัตกรรมเทคโนโลยี  (TII) ซึ่งเป็นศูนย์วิจัยวิทยาศาสตร์ชั้นนำระดับโลกและเสาหลักของการวิจัยประยุกต์ของสภาวิจัยเทคโนโลยีขั้นสูงแห่งอาบูดาบี (Advanced Technology Research Council) (ATRC) ได้เปิดตัวโมเดลภาษาขนาดใหญ่รุ่นใหม่ในซีรีส์ Falcon ชื่อว่า Falcon Mamba 7B โมเดลนี้เป็น State Space Language Model (SSLM) แบบโอเพนซอร์สอันหนึ่งของโลก โดยได้รับการยืนยันจาก Hugging Face

สถาบันนวัตกรรมเทคโนโลยีของ UAE ปฏิรูปโมเดลภาษา AI ด้วยสถาปัตยกรรมใหม่ (ภาพ: AETOSWire)

ในฐานะที่เป็น SSLM รุ่นแรกสำหรับซีรีส์ Falcon ทำให้โมเดลนี้แตกต่างจากโมเดล Falcon รุ่นก่อนหน้าทั้งหมดที่ใช้สถาปัตยกรรมแบบ Transformer ซึ่ง Falcon Mamba 7B รุ่นใหม่นี้เป็นอีกหนึ่งตัวอย่างหนึ่งของการวิจัยบุกเบิกที่สถาบันกำลังดำเนินการ ตลอดจนเครื่องมือและผลิตภัณฑ์ล้ำสมัยที่สถาบันเปิดให้ชุมชนเข้าถึงได้ในรูปแบบโอเพนซอร์ส

Faisal Al Bannai เลขาธิการ ATRC และที่ปรึกษาประธานาธิบดี UAE ด้านการวิจัยเชิงกลยุทธ์และกิจการเทคโนโลยีขั้นสูง กล่าวว่า “Falcon Mamba 7B ถือเป็นโมเดล AI อันดับหนึ่งต่อเนื่องเป็นรุ่นที่สี่ของ TII ซึ่งเสริมสร้างให้อาบูดาบีเป็นศูนย์กลางระดับโลกด้านการวิจัยและพัฒนา AI ความสำเร็จนี้เป็นข้อพิสูจน์ถึงความมุ่งมั่นอย่างไม่หยุดยั้งของ UAE ในด้านนวัตกรรม”

สำหรับโมเดลสถาปัตยกรรม Transformer Falcon Mamba 7B มีประสิทธิภาพดีกว่า Llama 3.1 8B, Llama 3 8B ของ Meta และ Mistral 7B ในเกณฑ์มาตรฐานใหม่จาก HuggingFace ในขณะที่ SSLM อื่นๆ Falcon Mamba 7B มีประสิทธิภาพดีกว่าโมเดลโอเพนซอร์สทั้งหมดในเกณฑ์มาตรฐานเก่า และจะเป็นโมเดลแรกในตารางผู้นำเกณฑ์มาตรฐานใหม่ที่เข้มงวดกว่าของ HuggingFace

ดร. Najwa Aaraj ประธานเจ้าหน้าที่บริหารของ TII กล่าวว่า “สถาบันนวัตกรรมเทคโนโลยียังคงผลักดันขีดจำกัดของเทคโนโลยีด้วยโมเดล AI ซีรีส์ Falcon Falcon Mamba 7B เป็นผลงานบุกเบิกที่แท้จริงและปูทางไปสู่นวัตกรรม AI ในอนาคตที่จะเสริมสร้างความสามารถของมนุษย์และพัฒนาคุณภาพชีวิต”

โมเดล State Space มีประสิทธิภาพสูงมากในการทำความเข้าใจสถานการณ์ที่ซับซ้อนซึ่งพัฒนาไปตามเวลา เช่น การอ่านหนังสือทั้งเล่ม เนื่องจาก SSLM ไม่ต้องการหน่วยความจำเพิ่มเติมในการประมวลผลข้อมูลขนาดใหญ่เช่นนี้

ในทางกลับกัน โมเดลที่ใช้สถาปัตยกรรม Transformer มีประสิทธิภาพสูงมากในการจดจำและใช้ข้อมูลที่เคยประมวลผลไว้ก่อนหน้านี้ในลำดับ ทำให้โมเดลพวกนี้เหมาะสมกับงานอย่างการสร้างเนื้อหา อย่างไรก็ตาม เนื่องจากพวกมันเปรียบเทียบทุกคำกับทุกคำอื่นๆ จึงต้องใช้พลังการคำนวณอย่างมาก

SSLM สามารถนำไปใช้ในหลายสาขา เช่น การประเมิน การพยากรณ์ และงานควบคุม เช่นเดียวกับโมเดล Transformer โมเดลพวกนี้ยังมีความเชี่ยวชาญในงานประมวลผลภาษาธรรมชาติ และสามารถนำไปใช้ในการแปลภาษา สรุปข้อความ การประมวลผลภาพ และเสียงได้อีกด้วย

ดร. Hakim Hacid หัวหน้าฝ่ายวิจัยชั่วคราวของหน่วย AI Cross-Center ของ TII กล่าวว่า “เมื่อเราเปิดตัว Falcon Mamba 7B ผมรู้สึกภูมิใจในระบบนิเวศการทำงานร่วมกันของ TII ที่สนับสนุนการพัฒนาแบบจำลองนี้ การเปิดตัวครั้งนี้เป็นก้าวสำคัญที่สร้างแรงบันดาลใจให้เกิดมุมมองใหม่ๆ และกระตุ้นการค้นหาระบบอัจฉริยะอย่างต่อเนื่อง ที่ TII เรากำลังผลักดันขีดจำกัดของทั้งแบบจำลอง SSLM และ Transformer เพื่อจุดประกายนวัตกรรมเพิ่มเติมในด้าน AI เชิงสร้างสรรค์”

โมเดล LLM ของ Falcon ถูกดาวน์โหลดไปแล้วกว่า 45 ล้านครั้ง ซึ่งพิสูจน์ถึงความสำเร็จที่ยอดเยี่ยมของโมเดลเหล่านี้ Falcon Mamba 7B จะเปิดตัวภายใต้ใบอนุญาต TII Falcon 2.0 ซึ่งเป็นใบอนุญาตซอฟต์แวร์ที่อนุญาตตามแบบ Apache 2.0 ที่มีกฎการใช้งานที่ยอมรับได้ซึ่งส่งเสริมการใช้ AI อย่างมีความรับผิดชอบ ข้อมูลเพิ่มเติมเกี่ยวกับโมเดลใหม่สามารถดูได้ที่ FalconLLM.TII.ae

สามารถรับชมภาพในรูปแบบมัลติมีเดียได้ที่: https://www.businesswire.com/news/home/54107705/en

*ที่มา: AETOSWire

เนื้อหาใจความในภาษาต้นฉบับของข่าวประชาสัมพันธ์ฉบับนี้เป็นฉบับที่เชื่อถือได้และเป็นทางการ การแปลต้นฉบับนี้จึงมีจุดประสงค์เพื่ออำนวยความสะดวกเท่านั้น และควรนำไปเทียบเคียงอ้างอิงกับเนื้อหาในภาษาต้นฉบับ ซึ่งเป็นฉบับเดียวที่มีผลทางกฎหมาย

ติดต่อ

Jennifer Dewan ผู้อำนวยการอาวุโสฝ่ายสื่อสาร
Jennifer.dewan@tii.ae

ที่มา: The Technology Innovation Institute

.