Kỹ sư nền tảng chính, Flink tại Grab

Tổng quan vị trí

Nhóm Dữ liệu phát trực tuyến (còn gọi là Coban) đảm bảo khả năng truy cập thời gian thực liền mạch và an toàn vào các sự kiện hoặc luồng liên tục, đóng vai trò là mô hình truy cập thống nhất của Grab cho dữ liệu thời gian thực. Chúng tôi xây dựng cơ sở hạ tầng và nền tảng để ghi và sử dụng dữ liệu theo thời gian thực, đồng thời cung cấp dịch vụ NoOps được quản lý, tiết kiệm chi phí cho các nhóm sản phẩm và dữ liệu trên toàn Grab. Chúng tôi hợp tác chặt chẽ với các nhóm chị em trong DataTech để cung cấp nền tảng dữ liệu tích hợp giúp mở ra sự đổi mới về dữ liệu lớn mỗi ngày.

Một số ví dụ về công việc của nhóm được chia sẻ công khai trên blog Grab Engineering.

Đây là những ví dụ về nền tảng cho rằng vai trò này sẽ tiếp tục được nâng cao: xử lý các vấn đề cơ sở hạ tầng phức tạp theo thời gian thực và biến chúng thành khả năng tự phục vụ, đáng tin cậy cho các nhóm Grab.

Trách nhiệm

• Xây dựng nền tảng phát trực tuyến tự phục vụ cho các chủ đề Kafka, đường dẫn Flink, CDC, Kafka Connect và sổ ghi chép ( Một nền tảng trang nhã ).
• Giúp việc triển khai Flink trở nên an toàn hơn thông qua các rào cản nền tảng và mô hình triển khai sản xuất (Triển khai an toàn hơn các ứng dụng phát trực tuyến).
• Cho phép khám phá và sản xuất FlinkSQL để người dùng có thể chuyển nhanh hơn từ truyền phát ý tưởng sang chạy quy trình (Hành trình xử lý luồng hoàn chỉnh trên FlinkSQL).
• Cải thiện độ tin cậy của việc phát hành Flink bằng thử nghiệm bóng (Tăng cường triển khai Flink bằng thử nghiệm bóng).
• Tăng cường chất lượng dữ liệu Kafka thời gian thực bằng các hợp đồng luồng cú pháp và ngữ nghĩa (Giám sát chất lượng dữ liệu thời gian thực).
• Trong thế giới tác nhân, tín hiệu thời gian thực chất lượng cao ngày càng trở nên quan trọng hơn trong việc thúc đẩy tự động hóa, ra quyết định và tác động kinh doanh có thể đo lường được.
• Apache Flink là lớp cơ sở hạ tầng thời gian thực quan trọng đối với Grab. Bằng cách giúp quá trình xử lý luồng trở nên dễ dàng hơn, an toàn hơn và tự phục vụ hơn, vai trò này giúp mở khóa nhiều tín hiệu thời gian thực hơn và biến dữ liệu thành giá trị kinh doanh trên toàn Grab. Khi Grab áp dụng kỹ thuật tác tử, chúng tôi hoan nghênh các nhà xây dựng có kinh nghiệm về cơ sở hạ tầng dữ liệu mạnh mẽ và niềm đam mê xử lý luồng tham gia cùng chúng tôi.
• Nền tảng khách hàng tiềm năng hoạt động giúp xử lý luồng dễ dàng, đáng tin cậy, hiệu quả và an toàn trên Grab thông qua khả năng tự phục vụ được tích hợp trong nền tảng.
• Thiết kế và xây dựng các bản tóm tắt, mô-đun và thư viện giúp giảm bớt rào cản trong việc áp dụng Flink, đồng thời giảm bớt công sức vận hành và bảo mật cho người dùng.
• Cải thiện quy trình tự động hóa và tự phục vụ cho phép một nhóm nền tảng nhỏ Trợ giúp với nhiều đường ống Flink sản xuất trên quy mô lớn.
• Thúc đẩy các cuộc thảo luận về thiết kế kỹ thuật, đánh giá mức độ sẵn sàng sản xuất, tìm hiểu sự cố và cải tiến kiến ​​trúc dài hạn.
• Hợp tác với Kafka, nhóm dữ liệu, số liệu và nền tảng quản trị dữ liệu để làm cho đường dẫn dữ liệu theo thời gian thực trở nên đáng tin cậy trên hệ sinh thái dữ liệu Grab rộng lớn hơn.
• Cố vấn cho các kỹ sư thông qua các buổi đánh giá thiết kế, phiên gỡ lỗi, đánh giá mã và các phương pháp vận hành tốt nhất.

Yêu cầu

• Những điều đáng có.
• Hơn 5 năm lãnh đạo các nhóm hoặc dự án trong lĩnh vực công nghệ phần mềm, kỹ thuật dữ liệu hoặc kỹ thuật nền tảng.
• Có kinh nghiệm xây dựng và vận hành quy trình xử lý luồng trong sản xuất, tốt nhất là với Apache Flink hoặc Spark Streaming.
• Kỹ thuật thực hành vững chắc Nền tảng thực hành về Kafka và các ngôn ngữ lập trình hiện đại như Scala hoặc Java.
• Nền tảng cơ bản vững chắc về hệ thống phân tán, xử lý dữ liệu có thể mở rộng, kỹ thuật có độ tin cậy và hoạt động sản xuất.
• Có khả năng lãnh đạo thiết kế kỹ thuật, cố vấn cho các kỹ sư, truyền đạt sự cân bằng rõ ràng và thúc đẩy các dự án từ thiết kế đến sản xuất.
• Sự hứng thú học hỏi, áp dụng công nghệ mới và cải thiện độ tin cậy của nền tảng cho nhiều người dùng nội bộ.
• Nền tảng thực tế về Kafka Connect, Kubernetes, Go, GitLab CI, AWS hoặc Terraform.
• Kinh nghiệm xây dựng các bản tóm tắt nền tảng có thể tái sử dụng, SDK, công cụ triển khai hoặc quy trình làm việc tự phục vụ.
• Kinh nghiệm vận hành Apache Flink trong sản xuất, bao gồm tính sẵn sàng cao, điểm kiểm tra, triển khai an toàn và ứng phó sự cố.
• Nền tảng thực tế về kho dữ liệu hoặc hệ sinh thái hồ dữ liệu như Spark, Parquet, Iceberg, Delta hoặc Hudi.

Phúc lợi

• Chúng tôi quan tâm đến sức khỏe của bạn tại Grab, đây là một số lợi ích toàn cầu mà chúng tôi cung cấp.
• Chúng tôi cam kết xây dựng một môi trường làm việc hòa nhập và công bằng cho phép các Grabber đa dạng phát triển và hoạt động một cách tốt nhất. Với tư cách là một nhà tuyển dụng có cơ hội bình đẳng, chúng tôi xem xét tất cả các ứng viên một cách công bằng và bình đẳng bất kể quốc tịch, dân tộc, tôn giáo, tuổi tác, bản dạng giới, khuynh hướng tình dục, cam kết gia đình, khuyết tật hoặc khuyết tật về thể chất và tinh thần cũng như các đặc điểm khác khiến họ trở nên độc đáo.
• Chúng tôi luôn hỗ trợ bạn với Bảo hiểm nhân thọ có kỳ hạn và Bảo hiểm y tế toàn diện.
• Với GrabFlex, hãy tạo ra gói quyền lợi phù hợp với nhu cầu và nguyện vọng của bạn.
• Kỷ niệm những khoảnh khắc quan trọng trong cuộc sống với những người thân yêu thông qua kỳ nghỉ phép dành cho Cha mẹ và Sinh nhật, đồng thời đền đáp cộng đồng của bạn thông qua kỳ nghỉ tình nguyện Yêu thương tất cả phục vụ tất cả (LASA).
• Chúng tôi có Chương trình hỗ trợ Grabber bí mật để hướng dẫn và nâng đỡ bạn và những người thân yêu của bạn vượt qua những thử thách trong cuộc sống.
• Việc cân bằng các cam kết cá nhân và nhu cầu cuộc sống trở nên dễ dàng hơn nhờ các sắp xếp FlexWork của chúng tôi, chẳng hạn như phân biệt giờ giấc.

Về Grab

Grab cung cấp các dịch vụ số tại Đông Nam Á. Các nhóm kỹ thuật phát triển sản phẩm và nền tảng nội bộ phục vụ hoạt động của công ty.

Việc làm liên quan

• Kỹ sư DevOps đám mây AWS cấp cao — Bosch
• Kỹ sư DevOps cấp cao, Nền tảng phát trực tuyến — Grab
• Kỹ sư phần mềm cấp cao — Grab
• Kỹ sư phần mềm cấp cao, nền tảng quan sát hệ thống — Grab
• Kỹ sư phần mềm, Backend — Grab
• Kỹ sư DevOps (Azure) — Bosch