Hội nghị đầu tiên - EMNLP"2023

Chào mọi người, mình là Dũng. Mình vừa kết thúc hành trình đầu tiên của mình tại Singapore với hội nghị EMNLP. Quả thực mình đã gặp được nhiều may mắn trên hành trình thực hiện đề tài này, từ sự support hết mình của anh mentor, chương trình nơi mình đang công tác, đặc biệt là những người anh chị em, bạn bè của mình tại FPT.

Ngẫm lại mới tháng 6 mình còn đang hì hục chạy thí nghiệm, tháng 7 nhờ mọi người trong team chỉnh sửa lại bài tại quán cafe Laika đường Láng (vì yếu tiếng anh quá nên phải nhờ mọi người hỗ trợ :>) thì giờ đã và đang ở 1 đất nước xa lạ và tham dự hội nghị đầu tiên trong đời.

Trước hội nghị

Chưa từng tham gia hội nghị khiến mình luống cuống hơn bao giờ hết. Bài tụi mình chỉ được findings nên mình phải chủ động liên hệ workshop để có thể được present in-person. Tuy đã chuẩn bị từ sớm, nhưng cuối cùng mình lại trễ deadline poster lên xuống, sau đó còn phải email cho một số người bên BTC để xin họ chỗ present bài của mình. Cũng tại vì luống cuống quá mà sau đó bài mình phải present ở tận 2 workshop trùng giờ trùng ngày (nhưng may mà là có tận 2 authors cùng đến EMNLP lần này =)) nên trong cái rủi có cái vui)

 

Hội nghị chính

Hội nghị EMNLP năm nay ngoài những nghiên cứu về NLP truyền thống, mình nhận thấy có phần trăm lớn nghiên cứu của năm nay tập trung làm về Large language model, cùng với việc đơn vị lớn như Google, Meta, Microsoft có một danh sách dài những paper về LLM được đăng tải tại EMNLP, mình nghĩ đây là biểu hiện từ sự quan tâm đặc biệt của cộng đồng academic lẫn industry về topic LLM và tương lai của NLP.

 

Các chủ đề được đón nhận về LLM bao gồm như discovering new LLM ability, hoặc các attempt đưa mô hình LLM cho natural language in general vào các bài toán cụ thể (yêu cầu knowledge domain). Vấn đề về scaling và boosting performance cho LLM cũng được đặc biệt quan tâm, nhiều giải pháp về phần cứng, giảm độ phức tạp tính toán, hay thay đổi về kiến trúc mô hình được trình bày nhằm thúc đẩy sức mạnh của LLM nói chung.

Trong đó mình đặc biệt thấy keyword “Mixture of Expert” được xuất hiện nhiều lần, (kết hợp với 1 số mô hình áp dụng MoE gần đây đang thu hút sự chú ý). Bên lề, các survey, góc nhìn tổng quát về vấn đề đạo đức (ethical issues), kiểm soát thông tin giả (fact checking), đầu ra sai sự thật (hallucination), hay những phản ứng độc hại (toxicity) do LLM sinh ra cũng dành được nhiều quan tâm. Bên cạnh đó, chủ đề về evaluation LLM đặc biệt là khoản evaluate trong các domain cụ thể càng được quan tâm với số lượng lớn publication và benchmark dataset được release.

Trải nghiệm bên lề

Ngoài 5 ngày biền biệt có mặt tại hội nghị, thật may mắn vì vẫn còn đủ thời gian tranh thủ đi ngắm đường xá Singapore và trải nghiệm ẩm thực nơi đây cùng bạn bè. Năm nay có lẽ cũng may mắn vì hội nghị tổ chức gần VN nên nhiều ace đồng nghiệp của mình cùng qua chung vui. Lần đầu xa nhà này còn nhiều bỡ ngỡ, tự nhận là tiếng anh của mình còn bập bẹ quá nên không tự tin để hỏi này nói kia được. May mắn là có anh mentor và các anh chị em đồng nghiệp cùng sang đây làm mình cảm giác như ở nhà.

Ở Singapore phương tiện công cộng phát triển rất hiện đại và tiện dụng, mình gần như có thể đi đến mọi nơi trong Singpore bằng hệ thống tàu điện (MRT) và xe bus. Những điểm trừ có lẽ với mình nói riêng là ở Sing phải đi bộ nhiều quá 😂. Đợt này mình còn mang độc mỗi đôi giày da, mỗi ngày đi bộ 5-10km làm đôi chân như rụng ra đó luôn. Tự hứa nếu có lần sau chắc chắn sẽ phải đi giày thể thao.

Thư viện ảnh

Tuy rất gần về địa lý nhưng lại có khoảng cách rất rõ rệt giữa VN và nơi đây. Ngày xưa người Singapore cảm thấy Việt Nam rất giống Sing, nhưng giờ mình cảm thấy còn phải học hỏi nhiều về cách thức mọi thứ hoạt động ở nơi đây. Mong rằng trong tương lai sẽ còn nhiều cơ hội quay lại nơi đây.

Thân.

PS: Cảm ơn @Hiếu Đào đã cho mình mượn Fuji X100F trong chuyến đi lần này.