Buổi biểu diễn
So sánh
Chi tiết
Nội dung này do RD AI tạo ra, chỉ mang tính tham khảo
Pluralis AI là một giao thức đào tạo phi tập trung và sở hữu các mô hình nền tảng. Nó cho phép phát triển hợp tác và chia sẻ quyền sở hữu các mô hình AI thông qua công nghệ blockchain. Dự án tập trung vào việc tạo ra một hệ thống mà nhiều bên có thể đóng góp và sở hữu các phần của mô hình AI, có khả năng sử dụng mã thông báo hoặc hợp đồng thông minh để quản lý các đóng góp và quyền.
Theo dõi cập nhật
Theo dõi danh sách
Nhân vật
Về Pluralis Research
Pluralis Research đang xây dựng một giao thức phi tập trung để huấn luyện các mô hình AI lớn. Hoạt động cốt lõi của nó là Học Giao thức: một phương pháp chia nhỏ mô hình trên nhiều người tham gia độc lập, những người cùng huấn luyện mô hình qua internet. Thay vì chia sẻ toàn bộ trọng số mô hình, các nút chỉ trao đổi các tensor gradient hoặc kích hoạt nhỏ, khiến cho bất kỳ bên nào cũng không thể trích xuất hoặc sao chép toàn bộ mô hình. Tính chất "mô hình không thể vật chất hóa" này đảm bảo không người tham gia nào có thể chiếm đoạt trọng số cuối cùng, đồng thời vẫn cho phép đóng góp mở và sở hữu tập thể. Vấn đề chính mà nó giải quyết là sự tập trung hóa trong phát triển AI. Việc huấn luyện các mô hình tiên tiến thường yêu cầu các cụm máy tính tập trung khổng lồ, loại trừ hầu hết cá nhân và tổ chức nhỏ. Các phương pháp phi tập trung hiện có hoặc yêu cầu kết nối băng thông cao (song song dữ liệu) hoặc không bảo vệ được mô hình đã huấn luyện khỏi bị đánh cắp. Pluralis giải quyết cả hai vấn đề bằng cách cho phép huấn luyện song song mô hình với băng thông thấp và làm cho mô hình vốn dĩ không thể loại trừ nhưng cũng không thể sao chép, tạo ra động lực kinh tế cho người đóng góp mà không cần một người điều phối đáng tin cậy. Trong sáu tháng qua, Pluralis đã chuyển từ lý thuyết sang thực tiễn. Họ đã tiến hành một thí nghiệm huấn luyện công khai sử dụng 14 máy Apple Silicon Mac phân bố trên bốn quốc gia (Paris, Zürich, Dublin, Toronto), huấn luyện một mô hình 7,5 tỷ tham số trong ba tuần trên 36 tỷ token. Loss cuối cùng đạt 2,75, tương đương với một baseline tập trung. Quá trình chạy có 303 nút hoạt động, với 78 người đóng góp mỗi người cung cấp hơn 1 exaFLOP sức mạnh tính toán, mặc dù nhiều người hoạt động trên kết nối dưới 100Mbps. Điều này chứng minh rằng phần cứng tiêu dùng không đồng nhất, không đáng tin cậy, băng thông thấp thực sự có thể huấn luyện các mô hình cạnh tranh. Nhóm nghiên cứu cũng đã công bố các bài viết kỹ thuật chi tiết và mở một kho lưu trữ GitHub, mặc dù dự án vẫn ở giai đoạn chứng minh khái niệm và chưa có triển khai sản xuất.
Pluralis Research được thành lập vào tháng 1 năm 2024 bởi Alexander Long, cựu nhà nghiên cứu tại FAANG, với mục tiêu phát triển AI mã nguồn mở thực sự thông qua đào tạo phi tập trung. Vào tháng 3 năm 2025, công ty đã công bố vòng gọi vốn hạt giống trị giá 7,6 triệu đô la Mỹ do USV và CoinFund đồng dẫn dắt, với sự tham gia của Balaji Srinivasan và đồng sáng lập HuggingFace Clem Delangue. Công ty đã tiên phong trong Protocol Learning, một phương pháp cho phép các mô hình được đào tạo trên các mạng phân tán mà không có bên nào nắm giữ toàn bộ trọng số. Một cột mốc quan trọng là một đợt đào tạo công khai mô hình phong cách OLMo 7,5 tỷ tham số qua internet bằng hơn 300 GPU tiêu dùng phân bổ toàn cầu trong hơn ba tuần, chứng minh tính khả thi của đào tạo phi tập trung ở quy mô lớn. Điều này đã xác nhận cách tiếp cận của họ và đặt nền móng cho việc phát triển mô hình mở trong tương lai.
Pluralis Research đã đạt được những bước tiến đáng kể trong lĩnh vực AI phi tập trung trong sáu tháng qua. Vào tháng 3 năm 2026, họ công bố Agora, một hệ thống cho phép tiền huấn luyện quy mô internet phi cấp phép cho các mô hình lớn. Điều này đạt đỉnh cao với Pluralis-8B, một mô hình 8,6 tỷ tham số được huấn luyện trên 500 tỷ token trong 40 ngày sử dụng 330 GPU tiêu dùng không đồng nhất, đạt hiệu suất 63% so với đường cơ sở H100 tập trung. Vào tháng 6, nhóm nghiên cứu giới thiệu Stoa, một khung huấn luyện hậu kỳ RL tách rời, sử dụng 14 máy Mac tiêu dùng tại bốn quốc gia để tinh chỉnh LFM2.5-8B-A1B, nâng pass@1 trên PaperSearchQA từ 29% lên 63%. Công ty cũng tổ chức hội thảo ICML về Học giao thức, chính thức hóa tầm nhìn về huấn luyện mô hình đa bên, băng thông thấp, không đồng nhất với khuyến khích kinh tế. Hướng tới tương lai, Pluralis có kế hoạch tích hợp Agora và Stoa thành một vòng huấn luyện RL thống nhất, giải quyết các vấn đề mở trong tối ưu hóa không đồng bộ và tính bền vững Byzantine, và ra mắt lần chạy huấn luyện hoàn toàn mở dựa trên giao thức đầu tiên. Với vòng hạt giống 7,6 triệu USD do USV và CoinFund dẫn đầu, họ đang mở rộng đội ngũ và quan hệ đối tác tính toán để mở rộng quy mô hướng tới các mô hình mở tiên tiến.
Đồng sáng lập và điều hành cốt lõi: - Alexander Long (Nhà sáng lập)
- Gil Avraham
- Yan Zuo
- Sameera Ramasinghe
- Ajanthan Thalaiyasingam