NhàTin tứcHọc tập tự giám sát với bối cảnh

Học tập tự giám sát với bối cảnh

Bằng cách tận dụng các mô hình và máy biến áp thế giới, nó thu hẹp khoảng cách giữa khả năng thích ứng giống con người và trí tuệ nhân tạo, mở đường cho các thuật toán công bằng hơn, hiệu quả hơn.

Học tập tự giám sát (SSL), một mô hình đang tăng trong học máy, đang định hình lại cách các mô hình học mà không có dữ liệu được dán nhãn.Phương pháp SSL theo truyền thống dựa vào việc tăng dữ liệu được xác định trước, thực thi sự bất biến hoặc không tương đương với các biến đổi cụ thể.Tuy nhiên, các linh mục quy nạp này thường hạn chế tính linh hoạt trong các nhiệm vụ khác nhau.

Một cách tiếp cận được gọi là học tập tự giám sát theo ngữ cảnh (bối cảnh), được phát triển bởi các nhà nghiên cứu tại MIT, CSAIL và Đại học Kỹ thuật Munich, giải quyết những hạn chế này.Bối cảnhSSL giới thiệu một cơ chế trong đó các biểu diễn thích ứng động dựa trên các bối cảnh cụ thể theo nhiệm vụ, loại bỏ nhu cầu đào tạo lại lặp đi lặp lại.Tại cốt lõi của nó, bối cảnh kết hợp các mô hình thế giới, các biểu diễn abstract của một tác nhân môi trường, và sử dụng một mô-đun biến áp để mã hóa các trình tự này dưới dạng các chuỗi của các bộ ba trạng thái hành động trạng thái.Bằng cách tham dự bối cảnh, mô hình xác định khi nào nên thực thi tính bất biến hoặc không bình đẳng, tùy thuộc vào các yêu cầu nhiệm vụ.

Thông qua thử nghiệm rộng rãi về các điểm chuẩn như 3Diebench và CIFAR-10, bối cảnh đã thể hiện tính linh hoạt đáng chú ý.Ví dụ, trong lĩnh vực y tế, sử dụng bộ dữ liệu MIMIC-III, bối cảnh đã điều chỉnh đại diện cho các nhiệm vụ chẩn đoán y tế cụ thể theo giới tính, trong đó sự tương đương là rất quan trọng.Đồng thời, nó đảm bảo sự công bằng trong việc dự đoán kết quả như thời gian lưu trú của bệnh viện, nhấn mạnh sự bất biến.

Khả năng thích ứng này đảm bảo hiệu suất tốt hơn trên các số liệu như tỷ lệ cược cân bằng (EO) và sự bình đẳng của cơ hội (EOPP), đồng thời tăng cường độ chính xác dự đoán cho các thuộc tính nhạy cảm như giới tính.Bằng cách tận dụng các mô hình máy biến áp cho việc học trong ngữ cảnh, bối cảnh có hiệu quả cân bằng hiệu quả sự bất biến và tương đương theo cách thức đặc trưng cho nhiệm vụ.Đây là một bước quan trọng để tạo ra các khung SSL có mục đích linh hoạt hơn.Với bối cảnh, tương lai của học máy hứa hẹn các thuật toán thích ứng và hiệu quả hơn, thu hẹp khoảng cách giữa lý luận giống con người và trí tuệ nhân tạo.

Thay vì các mô hình tinh chỉnh cho mỗi nhiệm vụ, chúng tôi nhằm mục đích tạo ra một hệ thống đa năng có khả năng thích nghi với các môi trường khác nhau, tương tự như học tập của con người, theo Sharut Gupta, CSAIL PH.D.sinh viên và tác giả chính của nghiên cứu.