Phần 19. Kiểm tra kho bằng thiết bị IoT

0
587

Bài viết trước đã trình bày về các cách khác nhau ứng dụng tính năng phát hiện đối tượng trong bán lẻ và cách huấn luyện bộ phát hiện đối tượng để nhận diện hàng hóa trong kho. Bài viết này sẽ hướng dẫn cách sử dụng bộ phát hiện đối tượng từ thiết bị IoT để kiểm đếm hàng trong kho.

Một số nội dung chính trong bài viết gồm:

1. Công việc kiểm tra hàng trong kho

2. Cách kết nối với bộ phát hiện đối tượng từ thiết bị IoT

3. Hộp giới hạn

4. Cách đào tạo lại mô hình

5. Kiểm tra hàng trong kho

1. Công việc kiểm tra hàng trong kho

Bộ phát hiện đối tượng giúp kiểm tra kho hàng, đếm số lượng hàng tồn kho hoặc đảm bảo hàng hóa ở đúng vị trí. Các thiết bị IoT có camera được triển khai khắp cửa hàng để theo dõi kho hàng, trước tiên là những khu vực dự trữ số lượng nhỏ các mặt hàng có giá trị cao mà việc bổ sung các mặt hàng này là rất quan trọng.

Ví dụ: nếu một camera hướng vào một kệ có khả năng chứa 8 lon tương cà và bộ phát hiện đối tượng chỉ phát hiện ra 7 lon, nghĩa là thiếu và cần được bổ sung 01 lon.

Ở hình ảnh trên, một bộ phát hiện đối tượng phát hiện ra 7 lon tương cà trên kệ, trong khi kệ này có thể chứa được 8 lon. Thiết bị IoT không chỉ gửi thông báo cần bổ sung hàng hóa, thậm chí nó còn đưa ra chỉ báo về vị trí thiếu mặt hàng, đây là dữ liệu quan trọng, đặc biệt khi sử dụng rô bốt để kê lại kệ.

Tùy thuộc vào cửa hàng và mức độ phổ biến của mặt hàng mà việc thiếu 1 sản phẩm không nhất thiết phải bổ sung. Bạn cần xây dựng một thuật toán xác định khi nào cần bổ sung dựa trên sản phẩm, khách hàng và các tiêu chí khác.

Đôi khi hàng hóa ở sai vị trí do nhân viên sắp xếp hoặc khách hàng lấy ra nhưng sau đó không mua và đặt chúng lại không đúng chỗ ban đầu. Nếu đó là hàng không dễ hư hỏng như đồ hộp thì cũng gây ra sự khó chịu nhưng nếu là hàng hóa dễ hỏng như hàng đông lạnh hoặc hàng ướp lạnh thì nghiêm trọng hơn, sản phẩm đó không thể bán được nữa vì không biết được sản phẩm đó bị lấy khỏi tủ đông từ lúc nào.

Tính năng phát hiện đối tượng giúp phát hiện các sản phẩm không mong muốn, cảnh báo con người hoặc rô-bốt đưa sản phẩm về đúng vị trí ngay khi được phát hiện.

Trong hình ảnh trên, một lon ngô non được đặt nhầm trên kệ tương cà. Bộ phát hiện đối tượng đã phát hiện ra và cho phép thiết bị IoT thông báo cho con người hoặc robot để trả lon ngô non về đúng vị trí.

2. Cách kết nối bộ phát hiện đối tượng từ thiết bị IoT.

Bộ phát hiện đối tượng đã huấn luyện ở bài trước được kết nối từ thiết bị IoT.

* Cách publish một bản lặp của bộ phát hiện đối tượng

Các bản lặp được publish từ cổng Custom Vision.

1. Khởi chạy và đăng nhập cổng Custom Vision tại CustomVision.ai. Sau đó, mở project stock-detector.

2. Chọn tab Performance từ các tùy chọn ở trên cùng

3. Chọn lần lặp mới nhất từ danh sách Iterations

4. Chọn Publish để lặp lại

Trong hộp thoại Publish Model, đặt Prediction resource thành tài nguyên stock-detector-prediction đã tạo trong bài viết trước. Để tên là Iteration2 và chọn Publish.

Sau khi publish, chọn Prediction URL. Khi đó sẽ thấy chi tiết của API dự đoán để kết nối với mô hình từ thiết bị IoT. Phần dưới có nhãn If you have an image file. Bản copy của URL được hiển thị sẽ giống như sau:

https://<location>.api.cognitive.microsoft.com/customvision/v3.0/Prediction/<id>/detect/iterations/Iteration2/image

Trong đó <location> là vị trí đã sử dụng khi tạo tài nguyên custom vision và <id> là một ID dài bao gồm các chữ cái và số.

Cũng có một bản sao của giá trị Prediction-Key. Đây là khóa an toàn khi muốn kết nối với mô hình. Chỉ những ứng dụng mở được khóa này mới được phép sử dụng mô hình, mọi ứng dụng khác đều bị từ chối.

Khi publish một lần lặp mới, sẽ có một tên khác.

* Cách kết nối bộ phát hiện đối tượng từ thiết bị IoT

Làm theo hướng dẫn như dưới đây sử dụng bộ phát hiện đối tượng từ thiết bị IoT

Arduino – Wio Terminal

Máy tính một bo mạch – Raspberry Pi/Thiết bị ảo

3. Hộp giới hạn

Khi sử dụng bộ phát hiện đối tượng, người dùng không chỉ có được các đối tượng được phát hiện với các thẻ và xác suất tương ứng, mà còn nhận được các hộp giới hạn của các đối tượng. Hộp giới hạn là hộp xác định vùng chứa, ranh giới đối tượng được phát hiện. Chúng xác định vị trí của sản phẩm với xác suất đã cho.

Kết quả của một dự đoán trong tab Predictions trong Custom Vision có các hộp giới hạn được vẽ trên ảnh để dự đoán.

Trong hình ảnh trên, phát hiện được 4 lon tương cà. Trong kết quả, một hình vuông màu đỏ được phủ lên mỗi đối tượng được phát hiện, cho biết hộp giới hạn cho hình ảnh.

Mở các dự đoán trong Custom Vision và kiểm tra các hộp giới hạn.

Các hộp giới hạn được xác định 4 giá trị – trên cùng, bên trái, chiều cao và chiều rộng. Các giá trị này trên thang điểm 0-1, đại diện cho các vị trí dưới dạng phần trăm kích thước của hình ảnh. Gốc (vị trí 0,0) là trên cùng bên trái của hình ảnh, vì vậy giá trị trên cùng là khoảng cách từ đỉnh đến cạnh trên hộp giới hạn, giá trị dưới cùng của hộp giới hạn là đỉnh cộng với chiều cao hộp.

Hình ảnh trên có chiều rộng 600 pixel và chiều cao 800 pixel. Hộp giới hạn bắt đầu từ 320 pixel xuống, cho tọa độ trên cùng là 0,4 (800 x 0,4 = 320). Từ bên trái, hộp giới hạn bắt đầu ở chiều ngang 240 pixel, cho tọa độ bên trái là 0,4 (600 x 0,4 = 240). Chiều cao của hộp giới hạn là 240 pixel, cho giá trị chiều cao là 0,3 (800 x 0,3 = 240). Chiều rộng của hộp giới hạn là 120 pixel, cho giá trị chiều rộng là 0,2 (600 x 0,2 = 120).

Sử dụng các giá trị phần trăm từ 0-1 do đó dù chia hình ảnh theo tỷ lệ theo kích thước nào, hộp giới hạn bắt đầu từ 0,4 chiều dọc trở xuống, 0,3 chiều cao và 0,2 chiều rộng.

Có thể sử dụng các hộp giới hạn kết hợp với xác suất để đánh giá mức độ chính xác của một phát hiện. Ví dụ, một bộ phát hiện đối tượng có thể phát hiện nhiều đối tượng chồng lên nhau như phát hiện một đối tượng này có thể bên trong một đối tượng khác. Dựa vào các hộp giới hạn, code hiểu rằng điều này là không thể và bỏ qua bất kỳ đối tượng nào có sự trùng lặp đáng kể với các đối tượng khác.

Trong ví dụ trên, một hộp giới hạn cho biết một lon tương cà được dự đoán là 78,3%. Hộp giới hạn thứ hai nhỏ hơn một chút và nằm bên trong hộp giới hạn thứ nhất với xác suất là 64,3%. Code có thể kiểm tra các hộp giới hạn, xem chúng chồng lên nhau hoàn toàn và bỏ qua xác suất thấp hơn vì không có cách nào để một hộp ở bên trong hộp khác.

4. Cách đào tạo lại mô hình

Giống với bộ phân loại hình ảnh, có thể đào tạo lại mô hình bằng cách sử dụng dữ liệu được thiết bị IoT ghi lại. Sử dụng dữ liệu trong thế giới thực sẽ đảm bảo mô hình hoạt động tốt khi được sử dụng từ thiết bị IoT.

Khác với bộ phân loại hình ảnh, ở đây không thể chỉ gắn thẻ một hình ảnh, thay vào đó, phải xem xét mọi hộp giới hạn mà mô hình phát hiện được. Nếu thấy hộp nằm xung quanh không đúng sản phẩm thì phải xóa hộp đó, nếu nó ở sai vị trí, thì cần điều chỉnh lại.

* Cách đào tạo lại mô hình

1. Chụp một loạt hình ảnh bằng thiết bị IoT.

2. Chọn một hình ảnh từ tab Predictions. Bạn sẽ thấy các hộp màu đỏ chỉ ra các hộp giới hạn của các đối tượng được phát hiện.

3. Làm việc với từng hộp giới hạn. Khi chọn một hộp giới hạn, một cửa sổ bật lên hiển thị thẻ. Điều chỉnh kích thước từ góc của hộp giới hạn nếu cần thiết. Nếu thẻ sai, xóa thẻ đó bằng nút X và thêm thẻ đúng. Nếu hộp giới hạn không chứa đối tượng thì xóa đi bằng nút thùng rác.

4. Đóng trình chỉnh sửa khi hoàn tất và hình ảnh sẽ chuyển từ tab Predictions sang tab Training Images . Lặp lại quy trình cho tất cả các dự đoán.

5. Sử dụng nút Train để đào tạo lại mô hình. Khi đào tạo xong, hãy publish bản lặp và cập nhật thiết bị IoT để sử dụng URL của lần lặp mới.

6. Triển khai lại code và kiểm tra thiết bị IoT.

5. Kiểm tra hàng trong kho

Sử dụng kết hợp số lượng đồ vật được phát hiện và các hộp giới hạn giúp kiểm đếm số hàng trên kệ.

* Cách kiểm tra hàng trong kho

Thực hiện theo các link bên dưới để đếm lượng hàng bằng cách sử dụng kết quả từ máy phát hiện đối tượng từ thiết bị IoT:

Arduino – Wio Terminal

 Máy tính một bo mạch – Raspberry Pi/Thiết bị ảo

Biên dịch: Bắc Đặng

Để cập nhật tin tức công nghệ mới nhất và các sản phẩm của công ty AIoT JSC, vui lòng truy cập link: http://aiots.vn hoặc linhkienaiot.com

0 0 Phiếu bầu
Article Rating
Subscribe
Notify of
guest
0 Comments
Phản hồi nội tuyến
Xem tất cả các bình luận