Khám phá mô hình SRE trong kỷ nguyên AI thông qua quản lý dữ liệu và sự cố

Trong phần trước, chúng tôi đã giới thiệu bối cảnh SIGQ chuyển nền tảng dữ liệu của Incident Lake sang ClickHouse, cũng như các đặc điểm kỹ thuật của ClickHouse trong việc hỗ trợ hạ tầng cho các doanh nghiệp AI.Trong thời đại mà dữ liệu quy mô petabyte được cập nhật hàng ngày, việc ra quyết định kinh doanh và quản lý vận hành sẽ thay đổi như thế nào? Trong bài viết này, dựa trên phần sau của cuộc đối thoại giữa ông Alexey Milovidov (sau đây gọi là Alexey), đồng sáng lập kiêm CTO của ClickHouse, và ông Kanetsuki, Giám đốc đại diện của SIGQ, chúng tôi sẽ phân tích về “SRE trong kỷ nguyên AI” với tiền đề là việc ra quyết định dựa trên dữ liệu.

Bài viết này là phần hai của bài phỏng vấn. Để đọc phần hai với chủ đề “Tại sao SIGQ lại chuyển từ BigQuery sang ClickHouse? ”, vui lòng xem tại đây.

Vượt qua ranh giới giữa quản lý sự cố và BI — Tương lai mà Agentic Analytics mở ra

Câu hỏi: SIGQ gọi Incident Lake là “lớp thông tin tình báo sự cố”. Điểm khác biệt so với các công cụ quản lý sự cố truyền thống là gì?

Kanetsuki: Các công cụ quản lý sự cố truyền thống tập trung vào từng thành viên trong nhóm phát triển. Tuy nhiên, các công việc kỹ thuật như thu thập nhật ký lỗi hay thu thập số liệu máy chủ chỉ chiếm một phần rất nhỏ trong toàn bộ hoạt động quản lý sự cố.

Tôi cho rằng thách thức lớn nhất là làm thế nào để xử lý toàn bộ quy trình xử lý sự cố. Nhân viên phụ trách sự cố cần xem xét phạm vi ảnh hưởng đến người dùng và dịch vụ, đồng thời cân nhắc các biện pháp ứng phó bao gồm cả tác động đến hoạt động kinh doanh. Đây không chỉ đơn thuần là phân tích nhật ký, mà là lĩnh vực gần như hoàn toàn thuộc về quyết định kinh doanh.

Alexey: Như vậy, có thể nói rằng Incident Lake đang hướng đến một lĩnh vực kết hợp giữa khả năng quan sát và phân tích kinh doanh. Chắc hẳn sẽ cần phải xử lý cả dữ liệu về các chỉ số kinh doanh lẫn các chỉ số kỹ thuật, phải không?

Kanetsuki: Đúng như ông nói. Ví dụ, chúng ta có thể kết hợp dữ liệu từ các công cụ CRM và quản lý hợp đồng để tính toán mức độ ảnh hưởng do vi phạm SLA.

Alexey: Trước đây, để phân tích dữ liệu từ mọi nguồn khác nhau, con người phải tốn nhiều công sức để viết các câu truy vấn SQL, nhưng trong tương lai, chỉ cần đặt câu hỏi bằng ngôn ngữ tự nhiên là sẽ nhận được câu trả lời. Do đó, việc các tác nhân AI có thể truy cập vào toàn bộ dữ liệu liên quan sẽ ngày càng trở nên quan trọng.

Tuy nhiên, ở đây lại nảy sinh một vấn đề mới. Tốc độ viết truy vấn của con người, dù nhanh nhất cũng chỉ khoảng 1 lần mỗi phút, trong khi các tác nhân AI có thể dễ dàng thực hiện hàng chục truy vấn mỗi phút. Với sự xuất hiện của các tác nhân AI, tầm quan trọng của cơ sở dữ liệu thời gian thực ngày càng được nâng cao.

Câu hỏi: ClickHouse quả thực là nền tảng lý tưởng cho các ứng dụng được điều khiển bởi AI như vậy. Các tác nhân AI dường như sẽ mang lại những thay đổi lớn trong lĩnh vực phân tích dữ liệu.

Alexey: Cách tiếp cận này, trong đó AI gửi truy vấn đến cơ sở dữ liệu phân tích để trả lời câu hỏi, được gọi là “Agentic Analytics”. Phương pháp này cũng có thể được áp dụng cho Business Intelligence (BI), và các công cụ BI truyền thống hiện đã đến mức nếu không tích hợp các tác nhân AI thì có nguy cơ trở nên lỗi thời.

Cách tiếp cận tương tự cũng đang dần được mở rộng sang các lĩnh vực liên quan đến khả năng quan sát (observability) như ứng phó sự cố, phân tích nguyên nhân gốc rễ (RCA), điều tra an ninh và giám sát mạng. Hãy thử nhớ lại quá trình ứng phó sự cố cách đây vài năm.Chắc hẳn các bạn đã phải chăm chú theo dõi hàng nghìn biểu đồ để tìm kiếm các dấu hiệu bất thường. Sau khi vất vả thiết lập các quy tắc cảnh báo bằng tay, các bạn lại phải đối mặt với lượng cảnh báo khổng lồ. Ngay cả khi muốn điều tra nhật ký hệ thống, các bạn cũng phải bắt đầu từ việc xác định xem nên tìm kiếm thông tin gì. Chắc hẳn đó là một chuỗi công việc lặp đi lặp lại như vậy.

Hiện nay, phần lớn các công việc này đang được các tác nhân AI đảm nhận. Đây chính là cái gọi là AI-SRE. Chỉ cần đưa ra một lời nhắc, hệ thống sẽ trả về kết quả phân tích sơ bộ và đề xuất giải pháp. Thậm chí, có thể sẽ không cần đến lời nhắc, mà AI sẽ tự động thực hiện toàn bộ chu trình từ phát hiện sự cố, điều tra, giải thích cho đến giải quyết.

Kỹ sư vẫn sẽ luôn cần thiết — Dữ liệu hỗ trợ “quyết định của con người” trong thời đại AI 

Câu hỏi: Trong phân tích dữ liệu và thu thập thông tin tình báo từ trước đến nay, vẫn tồn tại một thách thức là không thể tận dụng hiệu quả lượng dữ liệu khổng lồ đã thu thập để phục vụ cho việc ra quyết định. Các tác nhân AI có vẻ sẽ đóng vai trò quan trọng trong việc giải quyết vấn đề này. Tuy nhiên, nếu vậy thì con người sẽ còn đảm nhận vai trò gì?

Alexey: Những vấn đề mà chúng tôi đang cố gắng giải quyết ngày càng trở nên phức tạp hơn. Nhờ có trí tuệ nhân tạo (AI), chúng tôi không còn phải bận tâm nhiều đến những vấn đề nhỏ nhặt hay các công việc liên quan đến hạ tầng, từ đó có thể tập trung vào nhiều việc hơn. Kết quả là, nhu cầu muốn thực hiện nhiều việc hơn nữa đã nảy sinh. Theo đó, công việc của chúng tôi hiện nay cũng đang chuyển sang một cấp độ cao hơn.

Tuy nhiên, dù có thu thập được bao nhiêu dữ liệu đi chăng nữa, thì cuối cùng người quyết định cách hành động vẫn là con người. Các tác nhân AI có thể đưa ra nhiều giả thuyết, nhưng trách nhiệm xác định hướng đi vẫn thuộc về phía con người, như nhân viên hay quản lý.

Đôi khi, để loại trừ những giả thuyết sai lầm hay câu trả lời vô nghĩa, chúng ta phải huy động toàn bộ kinh nghiệm của bản thân.Các tác nhân AI cung cấp động lực để hành động, nhưng không ít trường hợp hướng đi đó lại sai lầm. Chẳng hạn, tại hiện trường xử lý sự cố, khi một chuyên gia SRE giàu kinh nghiệm đưa ra lời nhắc, AI sẽ hoạt động rất hiệu quả. Ngược lại, những người thiếu kinh nghiệm thực tế trong môi trường sản xuất khi cố gắng giải quyết sự cố thường có xu hướng chấp nhận nguyên vẹn câu trả lời sai của AI. Chính vì vậy, các kỹ sư vẫn cần phải tiếp tục học hỏi trong tương lai, đồng thời tận dụng kinh nghiệm đã có.

Kanetsuki: Về cơ bản, tôi đồng ý với ý kiến của anh Alexey. Khi đã đưa ra quyết định nào đó, sẽ phải có người chịu trách nhiệm về quyết định đó. Chẳng hạn, khi phải đưa ra một quyết định quan trọng như việc cơ sở dữ liệu bị hỏng nên cần phải thay thế, người đó phải chịu trách nhiệm tương xứng với mức độ quan trọng của quyết định đó. Do đó, trong tình hình hiện tại, tôi cho rằng những quyết định khó khăn, đặc biệt là những quyết định liên quan đến quản lý sự cố, nên do con người thực hiện.

Tuy nhiên, AI có thể đóng góp rất lớn trong việc hỗ trợ quá trình ra quyết định đó. Thách thức hiện nay nằm ở việc lọc ra những thông tin quan trọng từ khối lượng dữ liệu khổng lồ đã được tích lũy, từ đó đẩy nhanh quá trình ra quyết định. Do đó, tại Incident Lake, chúng tôi đang tận dụng LLM thông qua các tính năng đa dạng như RAG thời gian thực, hỗ trợ ra quyết định và báo cáo tự động. Bằng cách hỗ trợ việc hiểu rõ bối cảnh hoặc tạo ra bản tóm tắt điều hành cần thiết cho việc ra quyết định, AI có thể đóng vai trò hỗ trợ quá trình ra quyết định của con người.

Mặt khác, hiện tượng “ảo giác” là điều không thể tránh khỏi đối với các mô hình ngôn ngữ lớn (LLM). Để đảm bảo phân tích chính xác, đặc biệt là trong công tác ứng phó sự cố, cần phải kiểm soát chặt chẽ hiện tượng “ảo giác” này. Nếu không, sẽ làm mất lòng tin của khách hàng. Do đó, mặc dù Incident Lake sử dụng LLM để tạo báo cáo và tóm tắt tình hình, nhưng đối với các tác vụ như tính toán mức độ nghiêm trọng của sự cố, hệ thống vẫn kết hợp sử dụng cả các thuật toán học máy truyền thống.

Chìa khóa để phát triển doanh nghiệp nằm ở việc giành được sự tin tưởng của người dùng

Câu hỏi: Vì đã nhắc đến từ “niềm tin”, tôi muốn chuyển sang chủ đề khác tại đây. SIGQ đang từng bước chuẩn bị cho sự tăng trưởng nhanh chóng, chẳng hạn như bắt đầu huy động vốn quy mô lớn. Vì vậy, tôi muốn hỏi để tham khảo: ClickHouse đã phát triển thành một sản phẩm có thể coi là tiêu chuẩn toàn cầu. Nếu phải kể ra một yếu tố quan trọng nhất trong quá trình phát triển của cộng đồng, thì đó là gì?

Alexey: Yếu tố then chốt là luôn cởi mở với cộng đồng và duy trì động lực cho những người tham gia. Chẳng hạn, chúng tôi nhận được các yêu cầu pull từ khắp nơi trên thế giới gửi đến kho mã nguồn của mình, nhưng khi xem xét kỹ, đôi khi chúng không đáp ứng được tiêu chuẩn chất lượng. Với một dự án OSS thông thường, có thể họ sẽ chỉ từ chối hoặc yêu cầu sửa đổi là xong. Tuy nhiên, chúng tôi luôn nhìn thấy tiềm năng phát triển ở mọi người đóng góp.Chúng tôi khơi dậy động lực cho họ, tích cực hỗ trợ và giúp họ cảm nhận được sự gắn kết với dự án. Nhờ đó, họ sẽ trở thành những người hâm mộ của chúng tôi và giúp quảng bá dự án đến những người xung quanh.

Đây quả thực không phải là một chặng đường dễ dàng. Đã có những thời điểm cộng đồng mới thành lập chỉ gồm một số rất ít người nhiệt tình. Trong suốt thời gian đó, chúng tôi phải liên tục cung cấp những phản hồi tích cực và động lực cho họ.

Kanetsuki: Chính sự tương tác nhiệt tình như vậy đã tạo nên niềm tin vào ClickHouse và cộng đồng của nó. Tất nhiên, không cần phải nói rằng sản phẩm này rất xuất sắc, nhưng một lý do khác khiến chúng tôi chọn ClickHouse chính là cộng đồng. Ví dụ, các thành viên ClickHouse tại Nhật Bản đã tích cực hỗ trợ chúng tôi, cung cấp tín dụng miễn phí và tạo cơ hội để chúng tôi chia sẻ kiến thức tại các sự kiện cộng đồng của ClickHouse.Nếu có bất kỳ câu hỏi nào, họ thường trả lời rất nhanh, thường trong vòng một giờ. Chính vì vậy, chúng tôi tin tưởng vào ClickHouse. Sự tin cậy này là yếu tố quan trọng đối với các doanh nghiệp, và đặc biệt là vấn đề sống còn đối với các công ty khởi nghiệp.

Chúng tôi, SIGQ, dù dưới hình thức khác, cũng rất coi trọng các nỗ lực nhằm giành được sự tin tưởng từ khách hàng. Ví dụ, việc đạt được chứng nhận SOC2 Type 1 hay việc trình bày tại các hội nghị quốc tế với tư cách là nhà nghiên cứu là những ví dụ điển hình.

Ai cũng biết đến những tập đoàn lớn như Toyota, nhưng lại chẳng ai biết đến những công ty khởi nghiệp nhỏ. Chính vì vậy, việc xây dựng mối quan hệ bền chặt với khách hàng là yếu tố quan trọng nhất để phát triển doanh nghiệp. Tôi tin chắc rằng không chỉ công nghệ mà chính những con người và cộng đồng đứng đằng sau nó mới là yếu tố tạo nên niềm tin vào các công ty khởi nghiệp.

Để tạo ra những mô hình kinh doanh và sản phẩm xuất sắc nhất

Câu hỏi: Cuối cùng, xin hai bạn gửi lời nhắn nhủ đến độc giả.

Alexey: Trong lĩnh vực lập trình AI hiện nay, việc ra quyết định vẫn diễn ra thường xuyên, và các kỹ sư vẫn chỉ dừng lại ở giai đoạn sử dụng AI như một công cụ. Tuy nhiên, vài năm nữa, khi các mô hình AI phát triển hơn nữa và có thể tự động hóa phần lớn việc viết mã cũng như ra quyết định, thì điều gì sẽ còn lại? Tôi cho rằng đó chính là tầm nhìn và chiến lược sản phẩm.Cho đến nay, lợi thế cạnh tranh của các doanh nghiệp nằm ở “khả năng làm việc nhanh hơn”. Do đó, cũng có quan điểm bi quan cho rằng khi thời đại gia công công việc cho AI đến, lượng vốn đủ để chi trả chi phí sử dụng AI sẽ trực tiếp quyết định lợi thế cạnh tranh. Tuy nhiên, nếu nhìn nhận một cách lạc quan hơn, con người sẽ tìm ra những điều cần tự mình khám phá và có thể định hình nên chiến lược sản phẩm cùng tầm nhìn độc đáo.

Sự đổi mới công nghệ không bao giờ có điểm dừng. Chúng ta luôn có thể tìm thấy cơ hội để thử sức với những điều mới mẻ. Điều quan trọng là phải khám phá các lựa chọn khác nhau. Ngay cả trong những lĩnh vực đã có sẵn hay những lĩnh vực cạnh tranh khốc liệt, vẫn còn nhiều dư địa để tối ưu hóa và nâng cao chất lượng. Việc phát triển những sản phẩm tốt nhất vẫn hoàn toàn khả thi, và điều đó sẽ mang lại giá trị cho khách hàng trong tương lai.

Kanetsuki: Trong bối cảnh việc kết hợp và ứng dụng AI cùng dữ liệu đã trở thành điều hiển nhiên, tầm quan trọng của độ mới mẻ của dữ liệu ngày càng gia tăng. Đặc biệt khi sử dụng RAG, độ mới mẻ của dữ liệu là vấn đề sống còn. Chính vì vậy, tôi cho rằng ClickHouse là cơ sở dữ liệu tốt nhất để xây dựng RAG.

Tôi xin nhắc lại một lần nữa. Dựa trên kinh nghiệm đã tận dụng triệt để rất nhiều hệ quản trị cơ sở dữ liệu trong 10 năm qua, bất kể là OLAP hay OLTP, hiện tại tôi có thể khẳng định một cách chắc chắn rằng “ClickHouse là hệ quản trị cơ sở dữ liệu tốt nhất”. Chính vì vậy, tôi mong muốn khai thác ClickHouse nhiều hơn nữa, đồng thời chia sẻ giá trị của nó không chỉ với các doanh nghiệp Nhật Bản mà còn với các doanh nghiệp trên toàn thế giới, từ đó thúc đẩy việc triển khai ClickHouse.

Alexey: Tôi thực sự rất vui khi được nghe điều đó. Bởi vì chúng tôi làm việc chính là để được nghe những lời như thế này.

Q. Cảm ơn bạn đã dành thời gian cho chúng tôi hôm nay dù bận rộn!

Trong thời đại AI, vai trò của SRE đang chuyển từ “người phân tích dữ liệu” sang “người thiết kế các quyết định”

Với sự ra đời của Agentic Analytics và AI-SRE, các công việc như điều tra để xác định nguyên nhân, tổng hợp thông tin và xem xét các giả thuyết sẽ ngày càng được thực hiện hiệu quả hơn. Mặt khác, những lĩnh vực đòi hỏi sự quyết định có trách nhiệm, xử lý các vấn đề của khách hàng và chiến lược sản phẩm sẽ vẫn thuộc về con người. Dù AI có đưa ra giả thuyết đi chăng nữa, đây vẫn là những lĩnh vực mà cuối cùng con người phải chịu trách nhiệm.

Thông qua các sản phẩm và dịch vụ nền tảng của mình, SIGQ và ClickHouse sẽ tiếp tục đóng góp vào việc ứng dụng sức mạnh của trí tuệ nhân tạo (AI) để hỗ trợ quá trình ra quyết định của con người.