Tổng hợp bài báo: "Multimodal Large Language Models: A Survey"
Tổng quan và luận điểm chính của bài viết Bài khảo sát "Multimodal Large Language Models" (2023) cung cấp cái nhìn tổng quan và hệ thống về sự phát triển của các mô hình ngôn ngữ lớn đa phương thức (Multimodal Large Language Models – MLLMs). Tác giả nhấn mạnh rằng các mô hình ngôn ngữ lớn truyền thống (LLM) chủ yếu chỉ xử lý văn bản, do đó bị hạn chế khi gặp dữ liệu dạng khác (hình ảnh, âm thanh, video). Các LLM thuần văn bản như GPT-3, BERT, RoBERTa đạt kết quả tốt trong sinh và hiểu ngôn ngữ, nhưng thiếu khả năng nhận thức các loại dữ liệu phi văn bản [1] . Để khắc phục, các LLM đa phương thức tích hợp nhiều dạng dữ liệu (ví dụ kết hợp hình ảnh + văn bản), vượt qua giới hạn của mô hình thuần văn bản và mở ra khả năng xử lý nhiều dạng thông tin phong phú hơn [2] . GPT-4 được nêu làm ví dụ điển hình về MLLM: mô hình này có thể nhận cả ảnh và văn bản làm đầu vào, đạt chất lượng gần mức con người trên nhiều bài kiểm tra, cho thấy sức mạnh của việc tích hợp đa phương thứ...