Nghiên cứu về sức mạnh tính toán của AI

Nghiên cứu cho thấy sức mạnh tính toán của AI đã tăng gấp đôi mỗi 3,4 tháng kể từ năm 2012, tương phản với chu kỳ hai năm mà định nghĩa bởi Định luật Moore.

Tốc độ tăng trưởng này đã phá vỡ con đường dự đoán của máy tính truyền thống. Giám đốc điều hành Nvidia, Jensen Huang, đã mô tả sự tiến bộ của AI gần hơn với “Định luật Moore bình phương.”

Thực tế, AI đã phát triển khoảng 100,000 lần trong vòng một thập kỷ, một tốc độ vượt xa 100 lần cải thiện mà Định luật Moore đã dự đoán. Sự tăng tốc theo cấp số nhân như vậy nhấn mạnh quỹ đạo tăng trưởng độc đáo của AI.

Sự chuyển đổi từ CPU sang GPU, Đơn vị Xử lý Ngôn ngữ (LPU), và đơn vị xử lý tensor (TPU) đã thúc đẩy đáng kể sự tiến bộ của AI. GPU, LPU và TPU cung cấp những cải thiện hiệu suất đáng kể được thiết kế đặc biệt cho các tải công việc AI.

Trung tâm dữ liệu mới nhất của Nvidia được cho là vượt trội hơn các thế hệ trước đó hơn 30 lần trong các tải công việc suy diễn AI.

Các đổi mới trong kiến trúc chip, chẳng hạn như xếp chồng 3D và dựa trên chiplet
thiết kế, đã tăng cường hiệu suất vượt xa quy mô transistor đơn thuần, vượt qua những giới hạn vật lý vốn có của các cấu trúc bán dẫn hai chiều truyền thống.

Tuy nhiên, khác với Định luật Moore, vốn bị hạn chế bởi các giới hạn vật lý vốn có, đà phát triển của AI vẫn chưa bị hạn chế một cách vật chất bởi các ranh giới vật lý. Định luật Moore truyền thống phụ thuộc vào mật độ transistor, thu nhỏ đến mức mà hiện tượng hầm lượng tử đặt ra những giới hạn hoạt động nghiêm ngặt ở khoảng 5nm.

Ngược lại, AI có thể tận dụng các con đường không phần cứng, bao gồm việc tinh chỉnh thuật toán, sự sẵn có dữ liệu phong phú và đầu tư lớn, cung cấp nhiều chiều hướng để phát triển liên tục.

Về mặt kinh tế, những cải tiến nhanh chóng của AI được chuyển hóa thành giảm chi phí đáng kể. Việc đào tạo một AI nhận diện hình ảnh đạt độ chính xác 93% đã giảm từ khoảng 2.323 đô la vào năm 2017 xuống chỉ hơn 12 đô la vào năm 2018. Tương tự, thời gian đào tạo và tốc độ suy diễn đã được cải thiện một cách đáng kể, củng cố tính thực tiễn của AI.
hiệu quả và khả thi trên nhiều lĩnh vực.

Luật Moore Có Áp Dụng Cho AI Không?

Việc xem sự phát triển của AI đơn thuần dựa trên Luật Moore rõ ràng có những hạn chế. Phát triển AI liên quan đến những hành vi mở rộng phức tạp khác biệt so với tiến bộ trong lĩnh vực bán dẫn.

Tuy nhiên, mặc dù sự gia tăng sức mạnh tính toán theo cấp số nhân, việc đạt được những cải tiến tương đương về hiệu suất trong AI đòi hỏi tài nguyên tính toán không cân xứng. Tài nguyên computing cần thiết có thể tăng gấp mười sáu lần chỉ để mang lại một cải thiện gấp đôi về khả năng của AI, cho thấy sự giảm dần lợi nhuận ngay cả khi có sự tiến bộ phần cứng theo cấp số nhân.

Sự phức tạp này nổi bật sự không đủ của Luật Moore một mình như một thước đo dự đoán cho sự phát triển AI. Máy tính truyền thống đối mặt với những rào cản vật lý nhất định, buộc ngành công nghiệp bán dẫn phải chấp nhận việc xếp chồng chip 3D, kiến trúc chiplet và thiết kế mô-đun, cố gắng kéo dài Luật Moore bất chấp sự phức tạp và chi phí sản xuất ngày càng tăng, theo Sidecar AI.

Ngược lại, AI vẫn tương đối chưa được…
không bị ràng buộc bởi những giới hạn vật lý khắc khe, mà thay vào đó tận dụng sự đổi mới liên tục trong phần mềm, quản lý dữ liệu và kiến trúc phần cứng chuyên dụng. Hạn chế của AI chủ yếu dựa trên cung và cầu về tài nguyên phần cứng hơn là sự phát triển và đổi mới của nó.

Vì vậy, trong khi câu chuyện phổ biến là năng lượng và khả năng GPU hạn chế sự phát triển của AI, dữ liệu tự nói lên điều đó. Sự phát triển tính toán AI vượt qua tính toán truyền thống, và những người đang phát triển AI tiên phong có vốn để triển khai phần cứng cần thiết.

Định luật Moore đã được sử dụng để minh họa tốc độ đổi mới tính toán nhanh chóng. Máy tính gia đình, chẳng hạn, đã bùng nổ từ các bộ xử lý X86 vào đầu những năm 90 đến các chip Apple M-series đa lõi đang bùng nổ và hơn thế nữa trong vòng ba thập kỷ.

Nếu AI đang tiến triển nhanh gấp bội so với tính toán truyền thống trong 30 năm qua, người ta chỉ có thể suy đoán nó sẽ ở đâu vào năm 2055.