Sinh viên FPT Jetking phát triển “AI Camera Báo Cháy” ứng dụng AI và xử lý tại biên trên FPGA

Thành viên nhóm dự án AI Camera Báo Cháy

Không dừng lại ở những thuật toán mô phỏng trên máy tính, nhóm sinh viên FPT Jetking đã đưa mô hình Deep Learning vào vi mạch phần cứng để phát triển hệ thống “AI Camera Báo Cháy”. Kết hợp trí tuệ nhân tạo (AI), lập trình nhúng, thiết kế phần cứng và công nghệ IoT, đồ án hướng đến khả năng nhận diện ngọn lửa theo thời gian thực và đưa ra cảnh báo kịp thời ngay tại thiết bị.

Thành viên nhóm dự án AI Camera Báo Cháy

Xuất phát từ bài toán an toàn, lựa chọn hướng đi công nghệ

Hỏa hoạn luôn tiềm ẩn nguy cơ lớn đối với tính mạng và tài sản, trong đó khả năng phát hiện sớm có ý nghĩa quan trọng trong việc đưa ra cảnh báo và xử lý tình huống. Xuất phát từ bài toán thực tế này, nhóm sinh viên FPT Jetking gồm Vũ Quang Anh (Nhóm trưởng), Lã Văn Đạt, Trịnh Văn Nam và Nguyễn Thành Đạt đã lựa chọn phát triển đề tài “AI Camera Báo Cháy”. Thay vì chỉ sử dụng các phương pháp báo cháy dựa trên cảm biến nhiệt độ hoặc khói, nhóm khai thác khả năng của thị giác máy tính để nhận biết dấu hiệu ngọn lửa trực tiếp từ hình ảnh camera. Đặc biệt, nhóm không lựa chọn phương án truyền dữ liệu lên máy chủ Cloud để xử lý mà theo đuổi hướng Edge AI, thực hiện xử lý trực tiếp trên bo mạch FPGA Basys 3 nhằm hạn chế sự phụ thuộc vào kết nối mạng.

Vũ Quang Anh, nhóm trưởng, chia sẻ: “Nhóm em lựa chọn bài toán phát hiện cháy bằng AI vì cháy là một vấn đề có tính thực tế cao và cần được phát hiện càng sớm càng tốt. Các phương pháp báo cháy truyền thống thường dựa trên cảm biến như khói hoặc nhiệt độ, trong khi camera có thể quan sát trực tiếp hình ảnh và nhận biết các dấu hiệu của đám cháy.” Theo nhóm, việc kết hợp AI với FPGA cũng phù hợp với định hướng phát triển của đề tài khi FPGA có khả năng xử lý song song, tương thích với các phép toán trong mạng nơ-ron như Convolution. Bo mạch Basys 3 sử dụng chip Artix-7 cùng tài nguyên BRAM và DSP Slice, tạo nền tảng để nhóm xây dựng hệ thống camera thông minh có thể hoạt động độc lập mà không cần phụ thuộc vào máy chủ bên ngoài.

Cụm module cốt lõi của hệ thống gồm bo mạch FPGA Basys 3, vi điều khiển ESP32 và Camera OV7670

Từ mô hình AI đến hệ thống phần cứng hoạt động theo thời gian thực

Để biến ý tưởng thành một hệ thống hoàn chỉnh, bốn thành viên phân chia nhiệm vụ theo từng mảng chuyên môn. Vũ Quang Anh phụ trách thiết kế kiến trúc mô hình CNN và nghiên cứu kỹ thuật Quantization nhằm tối ưu dung lượng mô hình cho tài nguyên FPGA. Trịnh Văn Nam đảm nhận module đầu vào, kết nối camera OV7670, thu nhận hình ảnh và tối ưu luồng dữ liệu vào bộ nhớ BRAM. Ở đầu ra, Lã Văn Đạt lập trình ESP32 để điều khiển Buzzer, đèn LED cảnh báo và phát triển Web Dashboard phục vụ theo dõi từ xa. Nguyễn Thành Đạt phụ trách kiểm thử độ ổn định, đo đạc thông số và hoàn thiện tài liệu kỹ thuật của đề tài.

Hệ thống được thiết kế theo một chu trình nhận diện tự động. Khi camera OV7670 thu nhận hình ảnh, dữ liệu được truyền trực tiếp vào FPGA để tiền xử lý, điều chỉnh kích thước và lưu tạm vào BRAM. Sau đó, dữ liệu được đưa qua mô hình CNN gồm các lớp Convolution, MaxPooling và Fully Connected nhằm trích xuất đặc trưng của ngọn lửa và đưa ra kết quả phân loại. Khi hệ thống xác định trạng thái “No Fire”, tín hiệu được giữ ở mức 0. Khi phát hiện “Fire”, FPGA xuất tín hiệu 1 sang ESP32. Vi điều khiển sau đó đồng thời kích hoạt Buzzer, đèn LED cảnh báo và cập nhật trạng thái nguy hiểm lên Web Monitoring. Với mô hình CNN được tối ưu theo tài nguyên phần cứng, hệ thống đạt độ chính xác khoảng 95% trên tập dữ liệu kiểm thử.

Đằng sau kết quả đó là quá trình nhóm phải giải quyết nhiều bài toán kỹ thuật phức tạp. Theo Vũ Quang Anh, khó khăn lớn nhất nằm ở việc chuyển một mô hình AI vốn có thể chạy trên môi trường phần mềm sang thiết kế có khả năng vận hành trên FPGA. Nếu trên máy tính, mô hình có thể tận dụng các thư viện và tài nguyên tính toán sẵn có, thì khi triển khai trên phần cứng, nhóm phải tính toán kỹ về bộ nhớ BRAM, cách biểu diễn dữ liệu và kiến trúc xử lý phù hợp với Basys 3. Nhóm đồng thời phải cân bằng giữa độ chính xác của mô hình và khả năng triển khai trên phần cứng, trong khi camera, tiền xử lý ảnh, bộ nhớ và CNN đều phải hoạt động đồng bộ. Để giải quyết bài toán, các thành viên chia hệ thống thành từng module, kiểm tra từng phần trước khi tích hợp toàn bộ. Cách làm này giúp nhóm từng bước xử lý các vấn đề về luồng truyền tín hiệu, dung lượng bộ nhớ và tốc độ suy luận, qua đó hoàn thiện hệ thống đúng tiến độ.

Mô hình sa bàn demo hệ thống AI Camera Báo Cháy

Khi AI rời màn hình máy tính để trở thành một sản phẩm thực tế

Khoảnh khắc đáng nhớ nhất với nhóm là khi hệ thống được đưa ra thử nghiệm với ngọn lửa thật. Sau quá trình kiểm tra từng thành phần như camera, FPGA, mô hình AI và ESP32, việc toàn bộ hệ thống kết nối và phản hồi đúng thiết kế mang lại cho các thành viên cảm giác đặc biệt. Vũ Quang Anh chia sẻ: “Đặc biệt, khoảnh khắc thấy kết quả từ mô hình được đưa ra đúng, sau đó LED và Buzzer thực sự kích hoạt, nhóm cảm nhận rõ là những phần mình đã làm cuối cùng đã trở thành một hệ thống hoàn chỉnh.” Với nhóm, đây cũng là lúc giá trị của việc kết hợp AI với phần cứng trở nên rõ ràng nhất khi mô hình không chỉ chạy trên máy tính mà đã được đưa vào một hệ thống có khả năng phát hiện và cảnh báo trong thực tế.

Cấu trúc các tầng nơ-ron CNN được nhóm tối ưu hóa để nạp vào bộ nhớ chip FPGA

Trong hành trình hoàn thiện đồ án, nhóm cũng nhận được sự hướng dẫn và định hướng chuyên môn từ giảng viên Nguyễn Xuân Cường. Những góp ý trong quá trình ghép nối phần cứng và kiểm thử mô hình đã giúp các thành viên kịp thời xử lý những vấn đề phát sinh. Từ dự án, nhóm nhận ra rằng một hệ thống công nghệ cao luôn đòi hỏi sự liên kết giữa nhiều thành phần. AI, lập trình và phần cứng không thể được xem xét tách biệt; một mô hình có độ chính xác cao nhưng vượt quá tài nguyên phần cứng sẽ khó triển khai, trong khi hệ thống phần cứng hoàn chỉnh cũng không thể hoạt động hiệu quả nếu dữ liệu đầu vào không đảm bảo.

Trong thời gian tới, nhóm mong muốn tiếp tục mở rộng tập dữ liệu huấn luyện để nâng cao khả năng phân biệt giữa ngọn lửa thật và những nguồn sáng tương đồng, qua đó giảm các trường hợp cảnh báo nhầm. Nhóm cũng đặt mục tiêu nâng cấp Web Dashboard để không chỉ đưa ra cảnh báo tức thời mà còn cung cấp thêm thông tin về mức độ rủi ro, hỗ trợ người dùng theo dõi hệ thống toàn diện hơn.

Nhóm dự án cùng giảng viên

Đúng với tinh thần “Học để làm thật, đồ án “AI Camera Báo Cháy” không chỉ là một sản phẩm phục vụ quá trình học tập mà còn là cơ hội để sinh viên FPT Jetking thử sức với một bài toán có tính ứng dụng cao. Từ việc nghiên cứu mô hình AI, tối ưu thuật toán, lập trình phần cứng đến tích hợp camera, ESP32 và hệ thống giám sát, nhóm đã có cơ hội trải nghiệm một quy trình phát triển sản phẩm công nghệ theo hướng liên ngành. Đây cũng là minh chứng cho cách kiến thức trên giảng đường có thể được chuyển hóa thành sản phẩm cụ thể thông qua thực hành, thử nghiệm và liên tục giải quyết vấn đề.

Chúc Vũ Quang Anh, Lã Văn Đạt, Trịnh Văn Nam và Nguyễn Thành Đạt tiếp tục duy trì tinh thần học hỏi, hoàn thiện chuyên môn và phát triển “AI Camera Báo Cháy” theo hướng thực tế hơn, qua đó từng bước biến ý tưởng công nghệ thành những giải pháp có giá trị cho đời sống.

Cùng xem lại sản phẩm của sinh viên trong video demo dưới đây:

Huyền Tomato – Phòng Hợp tác doanh nghiệp

đánh giá