Nguồn: https://netflixtechblog.com/decision-making-at-netflix-33065fa06481
Đây là bài đầu tiên trong loạt bài về cách thức Netflix đang dùng A/B test để ra quyết định cải tiến sản phẩm nhắm mục đích đưa đến các trải nghiệm vui vẻ và thỏa mãn cho người dùng. Bài 2 sẽ nói qua về các khái niệm thống kê cơ bản cho A/B test, vai trò của các thử nghiệm ở Netflix, cách Netflix đầu tư vào hệ thống hạ tầng để hỗ trợ và mở rộng các thử nghiệm và tầm quan trọng của văn hóa thử nghiệm ở Netflix.
Netflix được tạo ra với ý tưởng đưa sự lựa chọn và kiểm soát của người dùng vào trung tâm của các trải nghiệm giải trí. Chúng tôi liên tục phát triển sản phẩm của chúng tôi để cải thiện sản phẩm theo kim chỉ Nam đó. Ví dụ, giao diện người dùng của Netflix đã trải qua sự lột xác hoàn toàn trong thập kỷ qua. Vào những năm 2010 giao diện rất tĩnh với các lựa chọn giới hạn được lấy cảm hứng từ các màn hình ở cửa hàng thuê băng đĩa. Hiện tại giao diện đã mượt mà và sống động hơn, các lựa chọn điều hướng đa dạng và bớt thô kệch hơn. Các nội dung ở trang chủ đã tận dụng tốt các điểm mạnh của trải nghiệm số hiện đại.
Việc chuyển đổi từ trải ngiệm những năm 2010 thành được như hôm nay đã trải qua vô số quyết định. Ví dụ như nên hiển thị nội dung lớn hay bé nhưng nhiều nội dung hơn ? Videos có tốt hơn ảnh tĩnh không ? Làm thế nào để mang tới trải nghiệm video mượt mà ngay cả khi băng thông mạng có giới hạn ? Lựa chọn nội dung nào để hiển thị ? ...vv
Ra quyết định rất dễ, cái khó ở đây là làm sao để quyết định đúng. Làm sao chúng tôi có thể tự tin là các quyết định của mình mang tới trải nghiệm sản phẩm tốt hơn cho những người dùng hiện tại và giúp công ty có thêm người dùng mới ? Có vài cách sau Netflix có thể sử dụng để phát triển sản phẩm:
- Để quản lý ra tất cả các quyết định.
- Thuê các chuyên gia về UI, UX, quản lý sản phẩm, streaming... và nghe theo các ý kiến tốt nhất của họ.
- Tạo các cuộc thảo luận nội bộ và nghe theo ý mà chúng tôi đúng nhất.
- Học theo đối thủ cạnh tranh.
Ở các cách trên, chỉ một số lượng giới hạn các góc nhìn và quan điểm được đóng góp cho quyết định cuối cùng. Nhóm quản lý thì bé, nhóm thảo luận nội bộ thì quá lớn và Netflix thì có quá nhiều chuyên gia ở các lĩnh vực chúng tôi muốn ra quyết định. Ngoài ra các mô hình trên không cung cấp một phương pháp mang tính hệ thống để tạo ra các quyết định và giải quyết vấn đề xung đột quan điểm.
Tại Netflix chúng rôi tin rằng có cách tốt hơn để cải thiện trải nghiệm người dùng đó là A/B test. Các thử nghiệm được mở rộng lớn hơn, thay vì chỉ một nhóm nhỏ các chuyên gia đóng góp cho 1 quyết định thì chúng tôi cho người dùng được lựa chọn thông qua hành vi của họ khi sử dụng Netflix.
Nói chung A/B testing được sử dụng song song với các phương pháp nhân quả như bán thử nghiệm (Là thử nghiệm trong đó không phân công ngẫu nhiên các đối tượng thử nghiệm. Ví dụ như thử nghiệm chương trình học mới trên 1 khối lớp, sẽ có 1 lớp học chương trình mới và 1 lớp học chương trình cũ làm nhóm đối chứng) là cách Netflix dùng các phương pháp khoa học để ra quyết định. Chúng tôi tạo ra các giả thuyết, ghép nối dữ liệu dựa trên kinh nghiệm và cả thử nghiệm - thứ sẽ cung cấp bằng chứng để chứng minh hoặc phủ định các giả thuyết. Sau đó chúng tôi ra các kết luận và tạo ra các giả định mới. Như đồng nghiệp Nirmal Govind giải thích, các thí nghiệm đóng vai trò rất quan trọng trong vòng lặp bé dần (đưa ra các kết luận súc tích từ các nguyên lý chung) và mở rộng (đưa ra các nguyên lý chung từ các kết quả cụ thể và nhận xét) thứ là nền tảng của các phương pháp khoa học.
Bạn muốn hiểu rõ hơn về A/B test và cách Netflix dùng để xác nhận các quyết định của mình ? Phần 2 nhé.
