Zalo phát triển mô hình AI do người Việt làm chủ

Sự quan tâm của thế giới đối với AI đang ngày một gia tăng với những chú ý tập trung nhiều nhất vào các quốc gia sở hữu nhiều mô hình AI hàng đầu thế giới như Mỹ và Trung Quốc. Đông Nam Á – một trong những khu vực kinh tế quan trọng của thế giới – đang dần trở thành điểm nóng mới về AI với các bước tiến lớn có thể khiến các nhà hoạch định chính sách, nhà đầu tư và chuyên gia công nghệ toàn cầu quan tâm.

Tại Việt Nam, Đảng và Chính phủ cũng đang quyết tâm trong việc định hình và thúc đẩy kỷ nguyên phát triển công nghệ của đất nước, thể hiện thông qua Nghị quyết 57-NQ/TW về Đột phá phát triển khoa học, công nghệ, đổi mới sáng tạo và chuyển đổi số quốc gia. Định hướng này đã tạo động lực mạnh mẽ cho các doanh nghiệp công nghệ trong nước đầu tư và khai thác tiềm năng của công nghệ tiên tiến toàn cầu.

Hiện tại, Việt Nam đã trở thành một trong số ít các quốc gia tại khu vực Đông Nam Á sở hữu mô hình ngôn ngữ lớn (LLM) nội địa. Cụ thể, từ năm 2023, Zalo đã huấn luyện thành công và cho ra mắt mô hình LLM tập trung vào tiếng Việt, được nghiên cứu và phát triển hoàn toàn bởi đội ngũ kỹ sư người Việt.

Chọn huấn luyện từ đầu và kết quả bất ngờ

Hiện nay, các mô hình AI có 2 kỹ thuật huấn luyện bao gồm: kỹ thuật tinh chỉnh (fine-tuned model) là phương pháp tối ưu các LLM đã được huấn luyện trước đó để tạo ra LLM mới phục vụ mục đích chuyên biệt; kỹ thuật huấn luyện từ đầu (from-scratch model) là quy trình xây dựng mô hình hoàn toàn mới, từ khởi tạo tham số, quyết định kiến trúc mô hình tới thuật toán huấn luyện trên tập dữ liệu nhất định.

Trong đó, kỹ thuật tinh chỉnh được nhiều doanh nghiệp lựa chọn bởi những ưu điểm như dễ triển khai, tiết kiệm tài nguyên và có thể cho hiệu quả tốt hơn. Đặc biệt, trong bối cảnh tại Việt Nam thiết bị huấn luyện và dữ liệu còn hạn chế thì kỹ thuật tinh chỉnh là một giải pháp ưu việt.

Tuy nhiên, Zalo lại lựa chọn kỹ thuật huấn luyện từ đầu. Với phương pháp này, toàn bộ quá trình huấn luyện và mô hình đều do người Việt làm chủ và kiểm soát hoàn toàn. Nhờ đó, Việt Nam trở thành một trong số ít quốc gia tại khu vực Đông Nam Á sở hữu mô hình ngôn ngữ lớn (LLM) phát triển nội địa.

Tại thời điểm ra mắt vào năm 2023, mô hình ngôn ngữ lớn với 7 tỷ tham số tập trung vào tiếng Việt đầu tiên của Zalo đã đạt 150% năng lực so với GPT3.5 của OpenAI trên Bộ tiêu chuẩn đánh giá năng lực LLM tiếng Việt VMLU. Thời gian huấn luyện chỉ mất 6 tháng, rút ngắn rất nhiều so với dự kiến ban đầu là 18 tháng. Quá trình huấn luyện nhanh chóng này gây bất ngờ cho chính cả đội ngũ phát triển ở Zalo.

Năm 2024, mô hình với 13 tỷ tham số của Zalo vượt qua các tên tuổi lớn của thế giới để khẳng định vị thế top 2 các mô hình LLM tiếng Việt huấn luyện từ đầu trên bảng xếp hạng năng lực tiếng Việt LLM của VMLU.

Kết quả cho thấy trình độ huấn luyện mô hình ngôn ngữ lớn không thua kém so với thế giới để phát triển một mô hình AI của riêng Việt Nam, nhất là trong bối cảnh phát triển ban đầu gặp nhiều khó khăn.

Nỗ lực phát triển mô hình AI của người Việt

Đại diện Zalo cho biết, việc huấn luyện LLM cần 3 yếu tố cốt lõi là thiết bị huấn luyện, dữ liệu và trình độ kỹ thuật. Trước đây, tại Việt Nam vẫn còn nhiều hạn chế ở cả 3 phương diện này. Cụ thể, trong khi các công ty lớn trên thế giới đã sở hữu hàng nghìn GPU hiệu năng cao mới nhất từ Nvidia thì tại Việt Nam các kỹ sư vẫn chưa được trang bị đầy đủ hạ tầng máy chủ cần thiết. Cùng lúc đó, tiếng Việt cũng được xếp vào nhóm có tài nguyên dữ liệu nghèo nàn hơn so với tiếng Anh hay tiếng Trung. Nguồn lực con người và kinh nghiệm huấn luyện LLM của Việt Nam cũng còn nhiều hạn chế khi so sánh với các quốc gia phát triển.

Đội ngũ Zalo khi ấy đã phải nghiên cứu và thực nghiệm trên các GPU dân dụng nhỏ để tranh thủ trang bị kiến thức và năng lực huấn luyện LLM, sẵn sàng ngay khi có hạ tầng tính toán lớn.

Các chip huấn luyện về AI khan hiếm nên dù đã đặt mua 8 máy chủ DGX H100 của Nvidia thì Zalo cũng không thể sở hữu cùng lúc các thiết bị mà phải chờ từng đợt bàn giao từ nhà sản xuất. Do vậy, việc tối ưu cho hạ tầng tính toán chưa hoàn thiện để tranh thủ thời gian huấn luyện cũng là một bài toán mà đội ngũ Zalo phải giải quyết.

Đồng thời, dữ liệu huấn luyện chất lượng cũng được đầu tư phát triển để bù đắp sự thiếu hụt về nguồn dữ liệu tiếng Việt.

“Mặc dù xuất phát điểm gặp nhiều khó khăn so với các công ty lớn trên thế giới nhưng Zalo vẫn quyết định nhập cuộc với mục tiêu phát triển thành công mô hình AI của riêng Việt Nam. Chúng tôi đã tham vấn kinh nghiệm từ các nhà nghiên cứu, kỹ sư tại nhiều viện nghiên cứu hàng đầu trên thế giới để có chiến lược phát triển phù hợp.

Những dấu mốc thành công tới hiện tại là động lực để các kỹ sư Zalo tiếp tục tối ưu mô hình lớn hơn về lượng và tốt hơn về chất. Đồng thời khai thác tính ứng dụng để tạo ra nhiều sản phẩm AI đẳng cấp thế giới cho người dùng Việt”, TS. Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI chia sẻ.

Nhờ sự ứng biến linh hoạt trong giai đầu phát triển khó khăn, Zalo đã từng bước đạt được những dấu mốc thành công, tiến tới làm chủ công nghệ AI toàn cầu như hiện nay.

Hiện mô hình AI của Zalo không chỉ thành công trên khía cạnh nghiên cứu huấn luyện mà còn được đưa vào ứng dụng, thúc đẩy việc tiếp cận và khai thác giá trị từ công nghệ mới tiên tiến cho người Việt.

Đầu năm nay, Zalo ra mắt Trợ lý hỏi đáp tổng hợp Kiki Info đang được vận hành dưới dạng một OA – Official Account (Tài khoản chính thức) – trên nền tảng nhắn tin Zalo. Trợ lý hỗ trợ hỏi đáp các chủ đề khác nhau trong cuộc sống, sáng tạo nội dung và giải trí. Theo thống kê của Zalo, trợ lý Kiki Info đã có tới 1 triệu lượt người dùng truy cập vào tài khoản OA trên Zalo chỉ trong chưa đầy 2 tháng.

Một ứng dụng khác của mô hình LLM của Zalo là thiệp AI cũng chạm mốc 15 triệu thiệp được khởi tạo và gửi đi chỉ trong 2 tháng. Đây là ứng dụng được đông đảo người dùng Zalo quan tâm để gửi những lời chúc tới người thân, bạn bè trong những dịp lễ quan trọng.

Hiện các ứng dụng từ mô hình ngôn ngữ lớn vẫn tiếp tục được Zalo mở rộng phát triển, hứa hẹn mang lại nhiều giá trị hữu ích cho người dùng trong nước.