Alibaba Cloud hỗ trợ Jueyue Xingchen xây dựng nhà máy tính toán, tạo ra 30.000 sandbox trong vòng một phút
Bài viết trên tài khoản công khai của Alibaba Cloud cho biết, công ty mô hình lớn Jieyue Xingchen đã phát hành mô hình mã nguồn mở flagship Step 5 Preview ra toàn cầu, được định vị là mô hình làm việc chính cho các nhiệm vụ của tác nhân thông minh trong thế giới thực, chuyên về lập trình AI, kỹ thuật phần mềm, công việc chuyên môn và các tình huống tài chính. Mô hình này có tổng số tham số là 600B, tham số kích hoạt là 27B, sử dụng MoE thưa thớt, với cửa sổ ngữ cảnh dài nhất là 1M, có thể xử lý văn bản, hình ảnh và video. Bài viết cho biết gần đây nó đứng thứ hai toàn cầu trong bảng xếp hạng số lượng gọi hàng tuần và hàng ngày của OpenRouter. Vào ngày phát hành, Alibaba Cloud thông báo đã hoàn thành việc thích ứng DAY0, dựa trên chip, siêu nút và tối ưu hóa suy diễn kết hợp với mô hình, được cung cấp sức mạnh suy diễn bởi siêu nút Lingjun.
Jieyue Xingchen tự phát triển nền tảng đào tạo tăng cường cho tác nhân thông minh, nền tảng sandbox được giao cho Alibaba Cloud quản lý. Giải pháp dựa trên Agent Sandbox của Alibaba Cloud và dịch vụ container phiên bản Kubernetes, hướng tới tính toán linh hoạt trong trạng thái đào tạo, cho biết có thể tạo ra hàng chục nghìn sandbox trong một phút, với khả năng đồng thời lên tới hàng triệu, tương thích với E2B API và cung cấp giao diện gốc Kubernetes. Thông qua bộ nhớ đệm hình ảnh đa cấp, lập lịch thông minh và tối ưu hóa chuỗi kiểm soát, đạt được yêu cầu trong mili giây và tạo ra 30.000 sandbox trong phút, vòng đời của sandbox được quản lý đồng nhất bởi backend của Alibaba Cloud.
Về lưu trữ, mỗi Pod bắt đầu với 15GB lưu trữ tạm thời miễn phí, khi tỷ lệ sử dụng vượt quá 70% thì mỗi lần tự động tăng thêm 30GB, tối đa lên tới 300GB. Về an toàn, mặc định sử dụng cách ly cấp MicroVM, bao phủ tính toán, mạng, lưu trữ và quyền hạn, và truy cập sản phẩm đám mây và giao diện mô hình lớn theo cách không tin tưởng. Kết quả được đưa ra trong bài viết bao gồm: thời gian khởi động hình ảnh giảm 90%, chu kỳ đánh giá mô hình từ cấp tuần được rút ngắn xuống cấp ngày, chi phí lưu trữ EBS trung bình tiết kiệm khoảng 40%; dựa vào ACK One Fleet, có thể hỗ trợ hàng trăm nghìn sandbox hoạt động ổn định cùng một lúc.