Lỗ hổng dữ liệu trong phân tích esports: Khi kết luận được viết trên nền trống

Đêm thứ Ba ở Chicago, tôi mở một báo cáo phân tích dài chín trang về một giải esports. Nó có mục lục đánh số, có bảng so sánh, có phần kết luận in đậm, có cả tuyên bố miễn trừ trách nhiệm ở cuối. Hình thức của một tài liệu cấp chuyên gia, đúng nghĩa. Tôi mở nó với kỳ vọng tìm được vài con số để đối chiếu với mô hình của mình. Nhưng khi cuộn xuống phần dữ liệu, ở đó chỉ có một chữ: N/A. Không tên game. Không tên đội. Không patch. Không tuyển thủ. Không ngày tháng. Không nguồn. Chín trang giấy, và cái ruột bên trong là một khoảng trống được trình bày rất ngay ngắn. Tôi làm nghề phân tích cá cược thể thao, chuyên về esports, đã mười một năm. Tôi quen với những mô hình sai. Tôi quen với những dự đoán hỏng. Nhưng có một loại lỗi khác khiến tôi lạnh sống lưng hơn cả: một báo cáo không sai vì mô hình sai, mà vì nó được sinh ra từ hư không, và vẫn giữ nguyên được vẻ ngoài đáng tin. Để hiểu tại sao một tài liệu trống rỗng lại có thể tồn tại và lan truyền, cần hiểu quy trình phân tích dữ liệu đang được vận hành như thế nào trong ngành esports. Hầu hết các báo cáo phân tích chuyên sâu đều đi qua hai tầng. Tầng thứ nhất làm nhiệm vụ bóc tách: đọc bài viết gốc, rút ra các điểm thông tin, xác định quan điểm, nhận diện thực thể như đội, tuyển thủ, giải đấu, đánh giá độ nhạy thời gian và chất lượng nguồn. Tầng thứ hai nhận kết quả đó và chạy phân tích chuyên môn: phân tích bản cập nhật, phân tích thể thức, phân tích đội hình, phân tích khu vực, phân tích tài chính, phân tích rủi ro. Mối quan hệ giữa hai tầng là quan hệ phụ thuộc tuyệt đối. Tầng hai không tạo ra thông tin; nó chỉ xử lý thông tin đã có. Nếu tầng một trả về một tập hợp rỗng, tầng hai không có gì để phân tích — trừ khi nó chọn cách bịa ra thứ để phân tích. Vấn đề nằm ở đó. Trong một ngành mà ai cũng muốn có báo cáo nhanh, đầy đặn, đẹp mắt để đăng lên, áp lực phải ra được kết luận lớn hơn áp lực phải ra được kết luận đúng. Một báo cáo trống là một thất bại về vận hành. Một báo cáo có kết luận, dù kết luận được dựng trên nền rỗng, lại trông giống một thành công. Tôi từng ngồi trong một phòng họp ở Chicago, nơi một nhà phân tích trình bày mô hình dự đoán với ba bảng số liệu và một biểu đồ đường rất mượt. Khi bị hỏi nguồn dữ liệu nằm ở đâu, câu trả lời là một đường dẫn đến một bảng tính chỉ có tiêu đề cột, không có dòng nào. Không ai trong phòng để ý, vì biểu đồ đã in ra rồi. Đó là bối cảnh tôi muốn nói tới: ngành esports đang xây một tầng phân tích ngày càng dày, nhưng tầng kiểm tra tính toàn vẹn dữ liệu đầu vào thì mỏng đến mức đáng sợ. Trong tài liệu tôi đọc, mỗi chiều phân tích đều được trình bày đầy đủ theo mẫu: phân tích bản cập nhật, phân tích thể thức giải, phân tích đội hình, phân tích khu vực, phân tích tài chính câu lạc bộ, phân tích tuân thủ luật, phân tích rủi ro, phân tích dư luận, phân tích truyền dẫn ngành. Chín chiều, đúng cấu trúc của một báo cáo chuyên nghiệp. Và cả chín chiều đều mang cùng một dòng chữ: không đủ thông tin. Đây là điểm cần dừng lại. Có một quy tắc ngầm trong xử lý dữ liệu mà rất nhiều người làm phân tích vi phạm mà không biết: giá trị rỗng không đồng nghĩa với giá trị âm. Khi một ô dữ liệu về nợ lương bỏ trống, điều đó không có nghĩa là câu lạc bộ không nợ lương. Nó chỉ có nghĩa là chưa ai cung cấp thông tin. Sự khác biệt giữa không phát hiện vấn đề và không có dữ liệu để phát hiện là sự khác biệt giữa một kết luận và một sự bịa đặt được đóng gói cẩn thận. Tôi gọi đó là căn bệnh của ô trống. Trong báo cáo tài chính, nếu mục thuế thu nhập bỏ trống, kế toán viên không được tự hiểu là đã nộp đủ. Trong y khoa, nếu xét nghiệm chưa có kết quả, bác sĩ không được coi là âm tính. Nhưng trong esports, nơi phần lớn người đọc không phân biệt được ô trống với số không, sự nhầm lẫn này xảy ra mỗi ngày. Có một nguyên tắc nền tảng mà bất kỳ ai làm phân tích esports cũng phải thuộc lòng: điều kiện tiên quyết đầu tiên là xác định được tựa game. League of Legends, DOTA 2, CS2, Valorant, Honor of Kings — mỗi tựa game vận hành theo một hệ sinh thái khác nhau. Riot Games duy trì nhịp cập nhật cân bằng hai tuần một lần cho League of Legends, trong khi Valve vận hành các giải Major với tần suất thấp hơn nhiều và để meta tự điều chỉnh qua thời gian. Cách một đội ở LPL xây đội hình khác với cách một đội ở LEC làm. Cơ chế luật chuyển nhượng, độ tuổi tuyển thủ tối thiểu, vai trò của nhà phát hành — tất cả đều phụ thuộc vào tựa game. Vậy mà trong tài liệu tôi đọc, tựa game không tồn tại. Không phải chưa xác định rõ, mà là không có. Không có patch, không có số phiên bản, không có mô tả thay đổi cân bằng. Cả một hệ thống phân tích chín chiều được dựng lên trên một cái tên bị bỏ trống. Đây là chỗ tôi muốn nói rõ một điều mà ít người trong ngành chịu thừa nhận: phần lớn giá trị của một báo cáo phân tích nằm ở hình thức, không nằm ở nội dung. Người đọc bị thuyết phục bởi bố cục. Một tài liệu có mục lục, có bảng, có phân loại cấp bậc rủi ro, có tuyên bố miễn trừ ở cuối, tự động được xếp vào loại đáng tin trước khi bất kỳ ai kiểm tra dòng dữ liệu đầu tiên. Hình thức cấp cho nội dung một uy tín mà nội dung chưa hề kiếm được. Tôi đã theo dõi đủ nhiều trường hợp để thấy mô thức này lặp lại. Một chuyên gia trình bày kết luận với giọng chắc nịch. Người nghe gật gù. Không ai hỏi dữ liệu đến từ đâu, vì dữ liệu trông như đã có sẵn. Chỉ đến khi thị trường trả giá — một dự đoán sai, một khoản cược mất, một quyết định đầu tư lệch — mới có người quay lại kiểm tra và phát hiện ra rằng cái nền mà mọi thứ được dựng lên chưa từng tồn tại. Dựa trên kinh nghiệm theo dõi các trận đấu của tôi, tôi luôn dành phần lớn thời gian cho việc kiểm tra chất lượng nguồn, chứ không phải cho việc rút ra kết luận. Một giờ phân tích của tôi thường có đến ba phần tư là kiểm chứng đầu vào. Phần ra kết luận chiếm chưa đến một phần tư. Bởi vì trong nghề này, sai lầm đến từ nền dữ liệu hỏng thường nhiều hơn đến từ kỹ thuật mô hình hỏng. Trong hồ sơ đó còn một chi tiết đáng suy nghĩ: nhãn esports vẫn sống sót trong khi toàn bộ phần nội dung đã chết. Điều này có nghĩa là bộ phân loại chủ đề và bộ bóc tách nội dung không đồng ý với nhau. Một bên gán nhãn đây là esports, một bên không tìm được một đơn vị nội dung nào để xác nhận. Khi hai bộ phận trong cùng một dây chuyền nói hai chuyện khác nhau, bộ phận kiểm tra ở giữa đã vắng mặt. Đó là lỗi hệ thống, không phải lỗi của một cá nhân. Trong khoa học dữ liệu, người ta phân biệt hai loại lỗi. Lỗi loại một là bác bỏ một điều đúng. Lỗi loại hai là chấp nhận một điều sai. Nhưng có một loại lỗi thứ ba mà ít người đặt tên: sinh ra một kết luận từ một tập dữ liệu không tồn tại. Về mặt toán học, nó không phải một phép tính sai. Nó là một phép tính được thực hiện trên con số không, và được trình bày như thể con số đó là thật. Một báo cáo chỉ thực sự có giá trị khi có một tập hợp đầu vào tối thiểu. Với esports, tập hợp đó bắt đầu bằng tựa game và ít nhất một điểm thông tin thực chất — một sự kiện có thật về một đội, một tuyển thủ, một bản cập nhật, một thương vụ hoặc một giải đấu. Thiếu tựa game, mọi nhánh phân tích phía sau đều vô nghĩa. Thiếu điểm thông tin, mọi nhánh phân tích phía sau đều là tưởng tượng. Tài liệu tôi đọc không có cả hai. Và thay vì dừng lại và báo lỗi, nó vẫn chạy. Nó vẫn in ra chín chiều. Nó vẫn giữ nguyên định dạng của một báo cáo chuyên môn. Đây là kiểu thất bại nguy hiểm nhất trong mọi dây chuyền dữ liệu: thất bại im lặng. Cách duy nhất để chặn loại lỗi đó là một cửa kiểm tra cứng ở giữa dây chuyền. Cửa này phải có quyền từ chối. Nếu tập điểm thông tin rỗng và không có thực thể nào được nhận diện, quy trình phải báo lỗi và dừng lại, chứ không được trả về một kết quả hợp lệ nhưng rỗng. Sự khác biệt giữa một hệ thống báo lỗi và một hệ thống im lặng trả về kết quả rỗng là sự khác biệt giữa một hệ thống biết mình hỏng và một hệ thống tưởng mình đang chạy tốt. Điều phản trực giác nằm ở đây: chúng ta thường nghĩ kẻ thù của phân tích esports là mô hình tồi. Chúng ta đầu tư hàng triệu giờ vào việc cải thiện thuật toán, thêm biến số, tinh chỉnh trọng số. Nhưng kẻ thù thật sự không nằm ở mô hình. Nó nằm ở khoảng lặng giữa bài viết gốc và báo cáo cuối cùng — khoảnh khắc mà dữ liệu đầu vào biến mất và không ai phát hiện ra. Tôi không tin trực giác, tôi tin chuỗi dữ liệu đủ dài. Nhưng một chuỗi dữ liệu trống không phải là một chuỗi ngắn. Nó là một chuỗi không tồn tại. Cách xử lý hai thứ đó phải hoàn toàn khác nhau. Với chuỗi ngắn, ta có thể dùng khoảng tin cậy rộng để nói kết quả này yếu. Với chuỗi trống, cách duy nhất trung thực là nói chưa có gì để nói. Đa số quy trình trong ngành xử lý cả hai trường hợp theo cùng một cách: nếu không có dữ liệu thì mặc định coi như không có vấn đề. Đó là một lựa chọn thiết kế tồi, và hậu quả tích lũy qua thời gian. Một câu lạc bộ có thể không nợ lương suốt mười năm, rồi tới năm thứ mười một nợ, và không ai phát hiện vì cột dữ liệu đó luôn bỏ trống — không phải vì thiếu thông tin, mà vì không ai thiết lập một cửa kiểm tra. Với người làm cá cược như tôi, hậu quả rất cụ thể. Một mô hình được nuôi bằng dữ liệu trống sẽ không đưa ra tỷ lệ cược rõ ràng sai. Nó đưa ra tỷ lệ cược trông hợp lý, vì nó phân bổ xác suất dựa trên những giả định mặc định thay vì dựa trên sự kiện. Và một tỷ lệ cược trông hợp lý nguy hiểm hơn một tỷ lệ cược trông sai, vì nó không kích hoạt được bản năng cảnh giác. Có một cám dỗ rất người nằm đằng sau việc vẫn in ra kết luận từ nền rỗng: không ai muốn báo cáo của mình trống. Cái trống trông giống thất bại. Còn cái đầy, dù giả, trông giống thành công. Trong một ngành mà thành công được đo bằng số lượt xem và số lần chia sẻ, cái trống không có chỗ đứng. Nhưng tôi đã học được một bài học trả giá từ những năm tháng làm việc ở công ty cá cược Chicago: không có gì đắt hơn một kết luận được dựng trên nền không có gì. Khoản cược bạn mất vì mô hình sai có giới hạn. Khoản mất vì tin vào một báo cáo trống nhưng hào nhoáng thì không có giới hạn, vì nó không sinh ra từ dữ liệu, nên nó không có đáy để chặn lại. Con số không biết nói dối, chỉ có người đọc nói dối thay chúng. Và cách nói dối tinh vi nhất không phải là bẻ cong một con số có thật, mà là trình bày một con số chưa từng tồn tại như thể nó là bằng chứng. Tín hiệu cho vòng tiếp theo nằm ở đây: hãy dành thời gian cho các cửa kiểm tra dữ liệu nhiều như cho các mô hình. Một ô trống trong bảng không phải một sự xác nhận. Nó là một lời nhắc rằng bạn chưa biết gì. Esports không có trái bóng, nhưng vẫn có nhịp điệu và xác suất để đo. Việc cần làm không phải là đo nhiều hơn, mà là đảm bảo rằng thứ bạn đang đo thực sự tồn tại trước khi bạn bắt đầu.