Đo lường trong phân tích lượng dữ liệu lớn

Ngày đăng: 05/10/2021
Phương pháp khai thác dữ liệu là một trong các phương pháp được sử dụng rộng rãi trong các lĩnh vực như phân tích thời gian thực trong cách mạng Công nghiệp 4.0.

Quy trình số hóa, đo lường dựa trên máy tính dẫn đến việc gia tăng không ngừng lượng dữ liệu và không gian tham số trong các hệ thống đo lường phân tán, mô phỏng tính toán phức tạp, dữ liệu đa tham số...

Tất cả các phân tích và nghiên cứu đều có điểm chung, việc phân tích dữ liệu để tạo ra tri ​​thức mới, không chỉ đơn thuần là “tìm kiếm” thông tin. BMWi hỗ trợ sáng kiến “Dữ liệu thông minh-Đổi mới dựa trên dữ liệu” (Smart Data – Innovation based on Data) với 30 triệu euro để phát triển các quy trình hiệu quả nhằm thu được dữ liệu có giá trị kinh tế. Với chương trình “Dữ liệu thông minh-Đổi mới từ dữ liệu”, Bộ Kinh tế và Năng lượng Liên bang, Đức đã lựa chọn, tài trợ cho 13 dự án phát triển các dịch vụ sáng tạo.

Việc ứng dụng rộng rãi công nghệ dữ liệu lớn thông minh được bắt ngay từ giai đoạn đầu, mở ra thị trường tương lai cho công nghệ dữ liệu thông minh ở Đức. Đặc biệt, SMEs được hưởng lợi từ các công nghệ này, đặc biệt là về bảo mật dữ liệu và chất lượng dữ liệu. Ấn phẩm “Dữ liệu thông minh-Đổi mới từ dữ liệu” cung cấp cái nhìn tổng quan về các dự án được lựa chọn và giới thiệu các tiêu điểm và mục tiêu của chương trình.

Bên cạnh bảo mật, việc xử lý dữ liệu hiệu quả là nội dung quan trọng của số hóa. Khi doanh nghiệp kết nối với nhau thông qua các phương tiện lưu trữ dữ liệu, cảm biến số, hệ thống truyền dữ liệu sẽ dẫn đến sự gia tăng “theo cấp số nhân” về lượng dữ liệu. Các thuật ngữ mới để nói về dữ liệu như “Dầu của thế kỷ 21” (21st Century’s Oil) hoặc “Đất màu mỡ” (Fertile Soil)... 

Có thể thấy, phần lớn dữ liệu (trên thực tế là 90%) đã được tạo ra trong hai năm qua. Trong đo lường, các quy trình sử dụng hình ảnh trong y tế, công nghiệp chụp CT hoặc đo bức xạ của các bề mặt phản xạ… dẫn đến hình thành một lượng dữ liệu lớn. Kích thước của đại lượng đo cũng tăng lên tương ứng với phát triển thiết bị.

Ví dụ, máy đo quang near-field của PTB có thể đo quang thông của nguồn sáng với độ phân giải từng phần. Trong trường hợp này, đại lượng đo có tính chất đa chiều. Việc quản lý các thủ tục đo lường đã thiết lập của NQI trước đây sẽ khó thực hiện. Trong bối cảnh này, PTB sẽ có vai trò quyết định năng lực dẫn xuất SI đối với dữ liệu đa chiều được sử dụng cho mô phỏng về hình học của các phần tử truyền ánh sáng.

Nghiên cứu liên ngành tại PTB “mở đường” cho một số dự án chuyên ngành trong các lĩnh vực như: mô hình hóa toán học, phân tích dữ liệu thống kê, xác định độ không đảm bảo đo... thực hiện trong dự án “Mô hình toán học và phân tích dữ liệu” (Mathematical Modelling and Data Analysis).

Do lượng dữ liệu ngày càng tăng, chất lượng dữ liệu, phạm vi các đại lượng đo và phép đo phân tích ngày càng phức tạp, PTB phải đối mặt thách thức đối với việc đánh giá dữ liệu đo lường. Việc xác định độ không đảm bảo đo bị giới hạn về phạm vi và thời gian tính toán. Quy trình số hóa và đo lường dựa trên máy tính dẫn đến việc gia tăng không ngừng lượng dữ liệu và không gian tham số trong các hệ thống đo lường phân tán, mô phỏng tính toán phức tạp, dữ liệu đa tham số...

Mối liên hệ giữa phép đo và việc đánh giá dữ liệu đo ngày càng trở nên phổ biến, được thực hiện dựa trên toán học và thống kê. Việc chuyển đổi hoạt động đo lường đã được thiết lập và chấp nhận sang các các quy trình mới (Ví dụ, phương pháp mô phỏng) với lượng lớn dữ liệu và thời gian tính toán lâu cũng là thách thức lớn.

Các công cụ toán học và thống kê mới được phát triển để giải quyết khó khăn trong việc thực hiện hoạt động đo lường đã được thiết lập, nhằm chuyển đổi dữ liệu thành công.

Bên cạnh đó, việc giảm phạm vi, cấu trúc và lượng dữ liệu những vẫn bảo đảm duy trì thông tin là một yêu cầu cần thiết. Các thông số kỹ thuật về phép đo có vai trò quan trọng để phát triển hoạt động đo lường hiệu quả. Điều này đòi hỏi sự hợp tác nghiên cứu chung giữa dự án “Lập mô hình toán học và phân tích dữ liệu” và các bộ phận thực nghiệm trong PTB. Với sự hỗ trợ của máy tính, các phép đo mới hình thành lượng dữ liệu lớn trong hoạt động kiểm định, hiệu chuẩn.

Ví dụ, trong đo lường bức xạ của một nguồn sáng, một phép đo duy nhất tạo ra giá trị xấp xỉ 100 GB dữ liệu đo lường. Sự mở rộng của hoạt động đo lường cơ bản mà cho phép các phép đo bổ sung, dẫn đến sự gia tăng khác về lượng dữ liệu. Hội đồng Khoa học và Nhân văn Đức cũng cho rằng các phép đo tạo ra lượng lớn dữ liệu đa chiều; tuy nhiên, không phải tất cả các thông tin đều được xử lý. Các nghiên cứu liên quan đến việc phân tích và sử dụng dữ liệu là cần thiết, trở thành nhu cầu quan trọng trong lĩnh vực chuyển đổi số.

Việc phát triển các giải pháp số để làm giảm phạm vi dữ liệu hay phát triển các giải pháp khả thi và tin cậy để truyền một lượng lớn dữ liệu sẽ không có nhiều ý nghĩa. Vấn đề không phải là lưu trữ dữ liệu hay tăng tốc độ truyền dữ liệu, mà việc thiết lập một định dạng dữ liệu chuẩn, phù hợp sẽ có vai trò quan trong.

PTB hợp tác một số nhà sản xuất để phát triển thiết bị đo và các phòng hiệu chuẩn và thử nghiệm để cung cấp các phép đo. Trong trường hợp này, một định dạng dữ liệu thống nhất, chuẩn hóa là cần thiết cho các phép đo. Định dạng dữ liệu này phải có thể bao gồm hình ảnh dữ liệu phức tạp, dữ liệu đa chiều, độ không đảm bảo đo và thông tin thích hợp cho phép phân tích dữ liệu tin cậy.

Việc kết nối dữ liệu với sự hỗ trợ của máy tính sẽ được đảm bảo. Dựa trên hạ tầng hiện có, kinh nghiệm của bộ phận “Hình ảnh và Quang học sóng” (Imaging and Wave Optics) và sự hợp tác với dự án “Mô hình Toán học và Phân tích Dữ liệu”, PTB có thể phát triển các định dạng dữ liệu quang học và phương pháp phân tích đầy đủ nhằm đáp ứng mục tiêu chuyển đổi số trong quang học.

Phương pháp khai thác dữ liệu (Data Mining Methods) là một trong các phương pháp được sử dụng rộng rãi trong các lĩnh vực như phân tích thời gian thực trong cách mạng Công nghiệp 4.0. Qua đó, dữ liệu cảm biến liên tục được đánh giá và so sánh với nhau. Ví dụ về việc phân tích tương quan dữ liệu của các mô-đun quang điện theo chuỗi giá trị. Bằng cách phát triển các phương pháp đo lường và xác định liên kết chuẩn đầy đủ, các quy trình phân tích dữ liệu cho phép thiết lập chỉ số hiệu suất trong sản xuất tấm wafer hoặc cho phép “phản ứng sớm” trong trường hợp xảy ra lỗi. Điều này khẳng định sự cần thiết trong việc kết hợp các kiến thức đo lường và thống kê toán học.

Các nghiên cứu cho thấy lĩnh vực phân tích dữ liệu lớn và dữ liệu tự động (như Học máy và Mạng nơ-ron nhân tạo) ngày càng tăng nhanh. Mạng nơ-ron nhân tạo được lấy cảm hứng từ cấu tạo sinh học của bộ não loài người – sự liên kết giữa các nơ-ron. Tuy nhiên, không giống như một bộ não sinh học nơi mà bất kỳ nơ-ron nào cũng có thể liên kết với các nơ-ron khác trong một khoảng cách vật lý nhất định, các mạng thần kinh nhân tạo này có các lớp rời rạc, các kết nối, và các hướng truyền dữ liệu. Mỗi nơ-ron đảm nhiệm một chức năng – làm thế nào để biết chính xác liệu rằng nó có liên quan đến nhiệm vụ đang được thực hiện.

Vì vậy, suy nghĩ về điểm dừng là một dấu hiệu. Các thuộc tính của một hình ảnh dấu hiệu “dừng” được cắt nhỏ và “kiểm tra” bởi các nơ-ron – dạng hình trụ, màu đỏ của các động cơ cháy, chữ cái đặc trưng, ​​kích thước biển báo giao thông, và sự chuyển động hoặc sự thiếu hụt của nó.

Nhiệm vụ của mạng thần kinh là để kết luận liệu đây có phải dấu hiệu dừng hay không. Nó đi kèm với một “véc-tơ xác suất”. Trong ví dụ trên, hệ thống có thể xác định chắc chắn đến 86% một dấu hiệu dừng, 7% rằng đó là một dấu hiệu giới hạn tốc độ, và 5% còn lại là một con diều bị mắc kẹt trong cây hoặc cái gì đó tương tự,… và kiến ​​trúc mạng sau đó sẽ thông báo đến mạng nơ-ron cho dù đó là đúng hay sai.

Các phương pháp được phát triển hiện nay thường dựa trên lý thuyết đã thiết lập. Những phương pháp này được gọi là phương pháp “Học sâu” (Deep Learning) 1. Do có sẵn các nền tảng phần cứng chuyên dụng cùng với các phần mềm nguồn mở và lượng dữ liệu rất lớn, các phương pháp “Học sâu” đang trở nên quan trọng trong một số lĩnh vực.

Từ quan điểm NQI, đặc biệt là từ quan điểm đo lường, khía cạnh độ tin cậy của các kết quả đo là rất quan trọng. Tuy nhiên, hiện nay, nhiều phân tích dữ liệu như vậy vẫn chưa phù hợp theo hoạt động đo lường. Độ tin cậy của phân tích dữ liệu và các phương pháp để đánh giá định lượng chất lượng của kết quả là chủ đề được Viện Viễn thông Fraunhofer, Viện Heinrich Hertz (HHI) ở Berlin tập trung nghiên cứu. 

Trong bối cảnh chuyển đổi số, sự phát triển của các phương pháp xác định độ không bảo đảm đo vẫn còn ở giai đoạn sơ khai. Một hạn chế khác là tính rủi ro đối với các kết quả phân tích dữ liệu nếu dữ liệu đầu vào bị giả mạo.

Hà Minh Hiệp - Đoàn Anh Vũ - Trịnh Phương Linh - Hoàng Ngọc Minh - Nguyễn Thị Ngọc Minh - VietQ

tin tức cùng chuyên mục:
Yêu cầu kỹ thuật của đường tinh luyện theo Tiêu chuẩn quốc gia TCVN 6958:2023 (5 Lượt xem)
Tiêu chuẩn báo cáo khí nhà kính (GHG) – khoảng trống trong sự phát triển của thị trường carbon Việt Nam (7 Lượt xem)
Người dùng yên tâm sử dụng hàng ‘chuẩn’ nhờ truy xuất nguồn gốc (24 Lượt xem)
Hệ thống quản lý an toàn thông tin theo tiêu chuẩn ISO/IEC 27001:2013: Đối tượng và lợi ích khi áp dụng (24 Lượt xem)
Tiêu chuẩn ISO hỗ trợ các giải pháp hành động vì khí hậu (22 Lượt xem)
Sản xuất đường thô theo TCVN 6961:2023 giúp đảm bảo chất lượng, an toàn vệ sinh thực phẩm (37 Lượt xem)
Hiệu ứng nhà kính và các giải pháp từ tiêu chuẩn (63 Lượt xem)
Trung Quốc thông báo dự thảo Tiêu chuẩn quốc gia đối với thiết bị điện và hệ thống máy công nghiệp (36 Lượt xem)
Những nhân tố quan trọng quyết định đến năng suất của doanh nghiệp (70 Lượt xem)
Phát triển tiêu chuẩn về tái chế nhựa tuần hoàn và cơ sở hạ tầng xây dựng mới (52 Lượt xem)
Áp dụng HTQLCL ISO 9001 - góp phần xây dựng nền hành chính khoa học và hiệu quả (59 Lượt xem)
TCVN về phương tiện giao thông đường bộ - xe điện: Công cụ tăng cường công tác quản lý chất lượng (70 Lượt xem)
Điều hướng rủi ro, tăng cường sức mạnh tổ chức với ISO 22301 (68 Lượt xem)
Mục tiêu Net Zero tại Đề án 1 triệu ha lúa chất lượng cao phát thải thấp tại Đồng bằng sông Cửu Long (128 Lượt xem)
Tiêu chuẩn đánh giá tình trạng môi trường của đất lâm nghiệp (57 Lượt xem)
Ngành hàng không Việt Nam hướng tới mục tiêu giảm khí thải carbon (117 Lượt xem)
Áp dụng TCVN ISO 9001 giúp giải quyết công việc khoa học, hiệu quả (72 Lượt xem)
Thiết kế và xây dựng đê chắn sóng theo TCVN 11820-6:2023 đảm bảo bền vững, an toàn (98 Lượt xem)
Áp dụng trực tiếp tiêu chuẩn quốc tế trong lĩnh vực công nghệ cao là rất cần thiết (76 Lượt xem)
TCVN 13875:2023 giúp đánh giá sự an toàn, kiểm soát vi khuẩn E.coli và Coliform trong chuỗi thực phẩm (253 Lượt xem)
HƠN 3000 DOANH NGHIỆP ĐƯỢC CHUYÊN GIA CỦA ICERT TƯ VẤN, ÁP DỤNG HIỆU QUẢ VÀ ĐẠT CHỨNG NHẬN THEO TIÊU CHUẨN QUỐC GIA VÀ QUỐC TẾ
ICERT Miền Bắc Công ty CP Tư vấn Chứng nhận Quốc tế ICERT
Mã số thuế: 0108091764
Địa chỉ:  Số 07, ngách 21, ngõ 168 Nguyễn Xiển, Hạ Đình, Thanh Xuân, Tp. Hà Nội
Hotline: 0963 889 585

Tel: 024 6650 6199
Email: hn@icert.vn
DMCA.com Protection Status
ICERT Miền Trung Công ty CP tư vấn chứng nhận Quốc tế ICERT CENTRAL
Mã số thuế: 0401783654
Địa chỉ: K171/63 Trần Thái Tông, Phường An Khê, Quận Thanh Khê, Tp. Đà Nẵng
Hotline: 
0914 588 159
Email: dn@icert.vn
 
ICERT Miền Nam Công ty CP tư vấn chứng nhận Quốc tế ICERT GLOBAL
Mã số thuế: 0316085828
Địa chỉ: Tầng 4, 232/1/33 đường Bình Lợi, Phường 13, Quận Bình Thạnh, TP. Hồ Chí Minh
Hotline: 0966 995 916

Tel: 028 6271 7639
Email: hcm@icert.vn
 
Hotline 24/7: Bắc: 0963.889.585/ Trung: 0914.588.159/ Nam: 0966.995.916
Nhắn tin zalo ICERT