Luận án Phát hiện vận động bất thường (ngã) sử dụng cảm biến đeo

BỘ THÔNG TIN VÀ TRUYỀN THÔNG 
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG 
PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG (NGÃ) 
SỬ DỤNG CẢM BIẾN ĐEO 
LUẬN ÁN TIẾN SĨ KỸ THUẬT 
Hà Nội - 2021 
BỘ THÔNG TIN VÀ TRUYỀN THÔNG 
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG 
PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG (NGÃ) 
SỬ DỤNG CẢM BIẾN ĐEO 
CHUYÊN NGÀNH : KỸ THUẬT MÁY TÍNH 
MÃ SỐ : 9.48.01.06 
LUẬN ÁN TIẾN SĨ KỸ THUẬT 
NGƯỜI HƯỚNG DẪN KHOA HỌC: 
TS. VŨ VĂN THOẢ 
PGS.TS. PHẠM VĂN CƯỜNG 
Hà Nội - 2021 
i 
LỜI CAM ĐOAN 
Nghiên cứu sinh (NCS) xin cam đoan đây là công trình nghiên cứu của riêng 
NCS. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý của đồng 
tác giả trước khi đưa vào luận án. Các kết quả nêu trong luận án là trung thực và chưa 
từng được công bố trong các công trình nào khác. 
 Người cam đoan 
ii 
LỜI CẢM ƠN 
Thực hiện luận án tiến sĩ là một thử thách lớn, đòi hỏi sự kiên trì và tập trung 
cao độ. Những kết quả đạt được trong luận án không chỉ là nỗ lực cá nhân NCS, mà 
còn có sự hỗ trợ và giúp đỡ của các Thầy hướng dẫn, của tập thể khoa Công nghệ 
Thông tin, Nhà trường, đồng nghiệp nơi NCS công tác và gia đình. 
NCS xin được bày tỏ lòng biết ơn sâu sắc đến PGS.TS. Phạm Văn Cường và 
TS. Vũ Văn Thoả đã tận tình hướng dẫn, giúp đỡ, trang bị phương pháp nghiên 
cứu, kiến thức khoa học để NCS hoàn thành các nội dung nghiên cứu của luận án. 
NCS cũng xin được bày tỏ lòng biết ơn chân thành tới các thầy, cô của Học 
viện Công nghệ Bưu chính Viễn thông đã đóng góp nhiều ý kiến quý báu giúp cho 
NCS hoàn thành các nội dung nghiên cứu của luận án. Luận án được hỗ trợ bởi nhiệm 
vụ nghiên cứu khoa học độc lập cấp Quốc gia “Nghiên cứu, chế tạo thiết bị hỗ trợ 
theo dõi một số triệu chứng bệnh hô hấp và vận động bất thường dựa trên nền tảng 
Internet kết nối vạn vật”, mã số ĐTĐLCN-16/18, NCS xin được bày tỏ lòng biết ơn 
đối với các thầy, cô trong nhóm tác giả đã tạo điều kiện cho NCS tham gia vào đề tài. 
NCS xin trân trọng cảm ơn Khoa Đào tạo Sau đại học - Học viện Công nghệ 
Bưu chính Viễn thông là cơ sở đào tạo và các đồng chí lãnh đạo Trường Cao đẳng 
Kinh tế - Tài chính Thái Nguyên, các đồng chí giảng viên Khoa Công nghệ 
Thông tin nơi NCS đang công tác đã tạo điều kiện thuận lợi, hỗ trợ và giúp đỡ cho 
NCS trong suốt quá trình học tập, nghiên cứu thực hiện luận án. 
NCS xin trân trọng cảm ơn bạn bè, người thân và gia đình đã cổ vũ, động viên, 
giúp đỡ, tạo điều kiện cho NCS hoàn thành luận án. 
 NGHIÊN CỨU SINH 
iii 
MỤC LỤC 
LỜI CAM ĐOAN ........................................................................................................ i 
LỜI CẢM ƠN ............................................................................................................ ii 
DANH MỤC CÁC BẢNG...................................................................................... viii 
DANH MỤC CÁC HÌNH VẼ .................................................................................... x 
DANH MỤC CÁC TỪ VIẾT TẮT ......................................................................... xii 
PHẦN MỞ ĐẦU ......................................................................................................... 1 
1. Lý do chọn đề tài ...................................................................................... 1 
2. Tính cấp thiết của đề tài ........................................................................... 2 
3. Mục tiêu của luận án ................................................................................ 4 
4. Các đóng góp của luận án ........................................................................ 5 
5. Bố cục của luận án ................................................................................... 7 
CHƯƠNG 1. TỔNG QUAN VỀ BÀI TOÁN PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG ........ 9 
1.1. Bài toán ................................................................................................. 9 
1.1.1. Giới thiệu bài toán .......................................................................... 9 
1.1.2. Tại sao phải phát hiện VĐBT ...................................................... 10 
1.2. Các nghiên cứu có liên quan ............................................................... 11 
1.2.1. Theo công nghệ cảm biến ............................................................ 11 
1.2.1.1. Tổng quan về các cảm biến sử dụng để nhận dạng hoạt động ở người 11 
1.2.1.2. Các cảm biến sử dụng trong phát hiện VĐBT .......................................... 14 
1.2.2. Trích chọn đặc trưng .................................................................... 25 
1.2.2.1. Trích chọn đặc trưng thủ công ...................................................................... 26 
1.2.2.2. Trích chọn đặc trưng tự động ....................................................................... 28 
1.2.3. Một số phương pháp phát hiện VĐBT......................................... 43 
iv 
1.2.3.1. Phát hiện VĐBT sử dụng học máy ............................................................. 43 
1.2.3.2. Phát hiện VĐBT sử dụng học máy kết hợp khai phá dữ liệu ................. 44 
1.2.3.3. Phát hiện VĐBT sử dụng huấn luyện có trọng số .................................... 45 
1.2.4. Giới thiệu một số hệ thống phát hiện VĐBT (ngã) đã được thương 
mại hoá .............................................................................................................. 45 
1.3. Các tập dữ liệu sử dụng cho nghiên cứu ............................................. 47 
1.4. Các độ đo đánh giá .............................................................................. 49 
1.5. Kết luận chương .................................................................................. 51 
CHƯƠNG 2. PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG DỰA TRÊN KẾT HỢP NHIỀU 
CẢM BIẾN ĐEO VÀ TRÍCH CHỌN ĐẶC TRƯNG THỦ CÔNG ................................. 53 
2.1. Các cảm biến sử dụng phát hiện VĐBT ............................................. 54 
2.2. Sơ đồ tổng quát của hệ thống phát hiện VĐBT .................................. 57 
2.3. Xử lý dữ liệu của cảm biến ................................................................. 57 
2.4. Trích chọn các đặc trưng ..................................................................... 62 
2.4.1. Đặc trưng của cảm biến gia tốc .................................................... 63 
2.4.2. Đặc trưng của cảm biến con quay hồi chuyển ............................. 64 
2.4.3. Đặc trưng của từ kế ...................................................................... 65 
2.5. Ứng dụng mô hình học máy cho bài toán phát hiện VĐBT ............... 66 
2.6. Kết hợp các đặc trưng cảm biến, thử nghiệm và đánh giá .................. 68 
2.6.1. Kết hợp các đặc trưng cảm biến ................................................... 68 
2.6.2. Thử nghiệm và đánh giá .............................................................. 69 
2.6.2.1. Thu thập và gán nhãn dữ liệu ....................................................................... 69 
2.6.2.2. Phân đoạn và thiết lập các tham số cho mô hình học máy ...................... 72 
2.6.2.3. Độ đo đánh giá và kết quả ............................................................................. 73 
2.7. Phát hiện VĐBT sử dụng hàm nhân phi tuyến hồi quy ...................... 76 
v 
2.7.1. Phương pháp huấn luyện .............................................................. 77 
2.7.2. Phương pháp phát hiện ................................................................ 85 
2.7.3. Thử nghiệm .................................................................................. 87 
2.7.3.1. Tập dữ liệu thử nghiệm .................................................................................. 87 
2.7.3.2. Độ đo đánh giá và kết quả ............................................................................. 90 
2.8. Kết luận chương .................................................................................. 92 
CHƯƠNG 3. PHÁT HIỆN VẬN ĐỘNG BẤT THƯỜNG BẰNG HỌC SÂU ....... 93 
3.1. Tập dữ liệu thử nghiệm, tiền xử lý dữ hiệu và độ đo đánh giá ........... 94 
3.1.1. Các tập dữ liệu thử nghiệm .......................................................... 94 
3.1.2. Tiền xử lý dữ liệu ......................................................................... 96 
3.1.3. Độ đo đánh giá ............................................................................. 97 
3.2. Mô hình mạng học sâu nhân chập (CNN) phát hiện VĐBT ............... 97 
3.2.1. Mô hình CNN .............................................................................. 97 
3.2.2. Phát hiện VĐBT bằng mạng CNN............................................... 98 
3.2.2.1. Nhân chập tạm thời và hợp nhất .................................................................. 99 
3.2.2.2. Các kiến trúc sâu ........................................................................................... 100 
3.2.3. Thử nghiệm ................................................................................102 
3.2.3.1. Thiết lập các mô hình thử nghiệm ............................................................. 102 
3.2.3.2. Kết quả ............................................................................................................ 102 
3.3. Mô hình mạng bộ nhớ dài - ngắn phát hiện VĐBT ..........................104 
3.3.1. Mô hình mạng bộ nhớ dài ngắn (LSTM) ...................................104 
3.3.2. Phát hiện VĐBT bằng LSTM ....................................................105 
3.3.3. Thử nghiệm ................................................................................111 
vi 
3.3.3.1. Thiết lập mô hình thử nghiệm .................................................................... 111 
3.3.3.2. Kết quả ............................................................................................................ 111 
3.4. Mô hình kết hợp CNN-LSTM phát hiện VĐBT ...............................112 
3.4.1. Mô hình kết hợp CNN-LSTM ...................................................112 
3.4.2. Phát hiện VĐBT bằng CNN-LSTM ..........................................114 
3.4.2.1. Thành phần mạng nhân chập (CNN) ....................................................... 114 
3.4.2.2. Thành phần mạng bộ nhớ dài ngắn (LSTM) .......................................... 115 
3.4.2.3. Lớp đầu ra ...................................................................................................... 115 
3.4.3. Thử nghiệm ................................................................................116 
3.4.4. So sánh phương pháp đề xuất với các phương pháp khác .........118 
3.5. Kết hợp cảm biến đeo và đặc trưng khung xương nhận dạng hoạt động 
và phát hiện VĐBT của người ............................................................................119 
3.5.1. Mô hình đề xuất .........................................................................119 
3.5.1.1. Tiền xử lý dữ liệu ......................... ... Eng., vol. 18, no. 5, pp. 626-638. 
[87] Qiuxia Wu, Zhiyong Wang, Feiqi Deng, Zheru Chi, and David Dagan Feng 
(2013). Realistic human action recognition with multimodal feature selection 
and fusion. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 
43(4):875-885. 
[88] Ritikic M., Huynh T., Laerhoven K., Schiele B. (2008), ADL recognition 
based on the combination of RFID and accelerometer sensing, Pervasive 
Computing Technologies for Healthcare, PervasiveHealth 
[89] Raphael Memmesheimer, Nick Theisen, and Dietrich Paulus (2020). Gimme 
Signals: Discriminative signal encoding for multimodal activity recognition. 
arXiv e-prints, page arXiv:2003.06156, March 2020. 
[90] Raspberry PI Sense HAT: 
hat.html (accessed on 29/6/2020). 
[91] Ravi D., Wong C., Lo B., Yang G.Z. (2016), Deep learning for human 
activity recognition: A resource efficient implementation on low-power 
devices, in: Wearable and Implantable Body Sensor Networks (BSN), 2016 
IEEE 13th International Conference on, IEEE. pp. 71-76. 
[92] Rimminen H., Lindstrom J., Linnavuo M., Sepponen R. (2010), Detection of 
falls among the elderly by a floor sensor using the electric near field, IEEE 
Trans. Inf. Technol. Biomed.14, 1475-1476, 
doi:10.1109/TITB.2010.2051956. 
[93] Roggen D., Calatroni A., Rossi M., Holleczek T., Forster K., Troster G., 
Lukowicz P., Bannach D., Pirkl G., Ferscha A., et al. (2010), Collecting 
complex activity datasets in highly rich networked sensor environments, In: 
156 
Networked Sensing Systems (INSS), 2010 Seventh International Conference 
on. pp. 233-240. IEEE. 
[94] Róisín McNaney, Ivan Poliakov, John Vines, Madeline Balaam, Pengfei 
Zhang, and Patrick Olivier (2015), LApp: A Speech Loudness Application for 
People with Parkinson’s on Google Glass, In proc. Of the ACM international 
conference on Human Factors in Computing Systems (CHI) 2015, pp.497-
500. 
[95] Rudolph Emil Kalman (1960). A new approach to linear fltering and 
prediction problems. Transactions of the ASME - Journal of Basic 
Engineering, 82(Series D):35-45. 
[96] S. Lord, C. Sherrington, H. Menz (2014), Fall in Older People: Risks Factors 
and Strategies, 1st edition, Cambridge University press. 
[97] S.a. Lowe, G. Ólaighin (2014), Monitoring human health behaviour in one’s 
living environment: A technological review, Med. Eng. Phys. 36 (2) (2014) 
147-168. 
[98] Sathyanarayana A., Joty S., Fernandez-Luque L., Ofli F., Srivastava J., 
Elmagarmid A., Taheri S., Arora T. (2016), Impact of physical activity on 
sleep: A deep learning based exploration, arXiv preprint:1607.07034. 
[99] Sebastian Munzner, Philip Schmidt, Attila Reiss, Michael Hanselmann, 
Rainer Stiefelhagen, and Robert Durichen (2017). Cnn-based sensor fusion 
techniques for multimodal human activity recognition. In Proceedings of the 
2017 ACM International Symposium on Wearable Computers, pages 158-
165, 2017. 
[100] Shaojie Bai, J. Kolter, and Vladlen Koltun (2018). An empirical evaluation 
of generic convolutional and recurrent networks for sequence modeling. 
arXiv:1803.01271v2 [cs.LG] 19 Apr 2018. 
[101] Stewart, R., Ermon, S. (2017), Label-free supervision of neural networks 
with physics and domain knowledge, in: AAAI, pp. 2576-2582. 
[102] SureSafeGO 2: https://www.techradar.com/best/best-fall-detection-sensors 
(accessed on 29/06/2020) 
[103] Suryadip Chakraborty, Saibal K Ghosh, Anagha Jamthe, Dharma P Agrawal 
(2013), Detecting mobility for monitoring patients with Parkinson's disease 
at home using RSSI in a Wireless Sensor Network, In proc. Of the 
International Workshop on Body Area Sensor Networks (BASNet-2013). 
[104] T. Duong, H. Bui, D. Phung, and S. Venkatesh (2005), Activity Recognition 
and Abnormality Detection with the Switching Hidden Semi-Markov Model, 
Proc. IEEE Int’l Conf. Computer Vision and Pattern Recognition (CVPR 
’05), pp. 838-845, June 2005. 
157 
[105] T. Nguyen, D. Pham, T. Le, H. Vu, and T. Tran (2018). Novel skeleton-based 
action recognition using covariance descriptors on most informative joints. 
In 2018 10th International Conference on Knowledge and Systems 
Engineering (KSE), pages 50-55. 
[106] T. Shi, X.Sun. Z. Xia, L. Chen, J. Liu (2006), Fall Detection Algorithm Based 
on A Triaxial Accelerometer and Magnetometer, Engineering Letters 24(2). 
[107] T. Tran, T. Le, D. Pham, V. Hoang, V. Khong, Q. Tran, T. Nguyen, and C. 
Pham (2018). A multimodal multi-view dataset for human fall analysis and 
preliminary investigation on modality. In 2018 24th International Conference 
on Pattern Recognition (ICPR), pages 1947-1952. 
[108] T. Xiang and S. Gong (2005), Video Behaviour Profiling and Abnormality 
Detection without Manual Labeling, Proc. IEEE Int’l Conf. Computer Vision 
(ICCV ’05), pp. 1238-1245, Oct. 2005. 
[109] Terry T. Um, Franz M. J. P_ster, Daniel Pichler, Satoshi Endo, Muriel Lang, 
Sandra Hirche, Urban Fietzek, and Dana Kuli (2017). Data augmentation of 
wearable sensor data for parkinson's disease monitoring using convolutional 
neural networks. In Proceedings of the 19th ACM International Conference 
on Multimodal Interaction, ICMI 2017, pages 216-220, New York, NY, 
USA, 2017. ACM. 
[110] Tianjiao Shi, Xingming Sun, Zhihua Xia, Leiyue Chen, and Jianxiao Liu 
(2015), Fall Detection Algorithm Based on Triaxial Accelerometer and 
Magnetometer, Manuscript received June 11, 2015; revised October 06, 
2015. 
[111] Turaga P., Chellappa R., Subrahmanian V.S. and Udrea O. (2008), Machine 
recognition of human activities: A survey, Circuits and Systems for Video 
Technology, IEEE Transactions on, IEEE. 18(11), p. 1473-88. 
[112] Thanh-Hai Tran and Van-Toi Nguyen (2015), How good is kernel descriptor 
on depth motion map for action recognition, In Int. Conf. on Computer 
Vision Systems, pages 137-146. Springer. 
[113] Tran TH, Le T, Pham DT, Hoang VN, Khong VM, Tran QT, Nguyen TS, 
Pham C (2018), A multi-modal multi-view dataset for human fall analysis 
and preliminary investigation on modality, pp 1947-1952, DOI 
10.1109/ICPR.2018.8546308. 
[114] V. Hoang, T. Le, T. Tran, Hai-Vu, and V. Nguyen. 3d skeleton-based action 
recognition with convolutional neural networks. In 2019 International 
Conference on Multimedia Analysis and Pattern Recognition (MAPR), pages 
1-6, 2019. 
158 
[115] Vavoulas G., Pediaditis M., Chatzaki C., Spanakis E., Tsiknakis Manolis, 
(2016), The MobiFall Dataset: Fall Detection and Classification with a 
Smartphone, International Journal of Monitoring and Surveillance 
Technologies Research. 2. 44-56. 10.4018/ijmstr.2014010103. 
[116] Vavoulas G.; Chatzaki C.; Malliotakis T.; Pediaditis M.; Tsiknakis M. 
(2016), The MobiAct dataset: Recognition of activities of daily living using 
smartphones, In Proceedings of the International Conference on Information 
and Communication Technologies for Ageing Well and e-Health 
(ICT4AWE), Rome, Italy, 21-22 April 2016. 
[117] Vepakomma P., De D., Das S.K., Bhansali S. (2015), A-wristocracy: Deep 
learning on wrist-worn sensing for recognition of user complex activities, in: 
2015 IEEE 12th International Conference on Wearable and Implantable 
Body Sensor Networks (BSN), IEEE. pp. 1-6 
[118] Wang A., Chen G., Shang C., Zhang M., Liu L., (2016), Human activity 
recognition in a smart home environment with stacked denoising 
autoencoders, in: International Conference on Web-Age Information 
Management, Springer. pp. 29-40. 
[119] Withings. [Online]. Available:  (accessed on 
15/10/16). 
[120] Y. Yao, F. Wang, J. Wang, and D.D. Zeng (2005), Rule þ Exception 
Strategies for Security Information Analysis, IEEE Intelligent Systems, vol. 
20, no. 5, pp. 52-57, Sept./Oct. 2005. 
[121] Yang, J., Nguyen, M.N., San P.P., Li X., Krishnaswamy S. (2015), Deep 
Convolutional Neural Networks on Multichannel Time Series for Human 
Activity Recognition. In Proceedings of the 24th International Conference on 
Artificial Intelligence (IJCAI’15), Buenos Aires, Argentina, 25-31 July 
2015; pp. 3995-4001. 
[122] Yang, Q. (2009), Activity recognition: Linking low-level sensors to high-level 
intelligence, in: IJCAI, pp. 20-25. 
[123] Yao S., Hu S., Zhao Y., Zhang A., Abdelzaher T. (2017), Deepsense: A 
unified deep learning framework for time-series mobile sensing data 
processing, in: WWW, pp. 351-360. 
[124] Yu Guan and Thomas Plotz (2017). Ensembles of deep lstm learners for 
activity recognition using wearables. Proceedings of the ACM on 
Interactive, Mobile, Wearable and Ubiquitous Technologies, 1(2):1-28. 
[125] Z. Bbate, P. Avvenuti, R. Bonatesta, C. Cola, P. Corsini, A. Vecchio (2012), 
A smartphone-based fall detection system, Perv. Mob. Comput. J. 2012, 8, 
883-899, doi:10.1016/j.pmcj.2012.08.003. 
159 
[126] Z. Chan and S. Stolfo, Toward Scalable Learning with Non-Uniform Class 
and Cost Distributions (2000), Proc. Fourth Int’l Conf. Knowledge 
Discovery and Data Mining (KDD ’98), pp. 164-168, Aug. 2000. 
[127] Z. Hammerla, S. Halloran, T. Ploetz (2016), Deep, convolutional, and 
recurrent models for human activity recognition using wearables, in: IJCAI. 
[128] Z. Lukowicz, F. Hanser, C. Szubski, W. Schobersberger (2006), Detecting 
and interpreting muscle activity with wearable force sensors, Lecture Notes 
in Computer Science, Springer. 3968, p. 101-16. 
[129] Z. Ravi, N. Dandekar, P. Mysore (2005), Activity recognition from 
accelerometer data, In: AAAI. pp 1541-1546. 
[130] Zappi P., Lombriser C., Stiefmeier T., Farella E., Roggen D., Benini L., 
Troster G. (2008), Activity recognition from on-body sensors: accuracy-
power trade-off by dynamic sensor selection. In: Wireless sensor networks, 
pp. 17-33. Springer. 
[131] Zeeshan Ahmad and Naimul Khan (2019), Human action recognition using 
deep multilevel multimodal (m2) fusion of depth and inertial sensors, IEEE 
Sensors Journal. 
[132] Zeng M., Nguyen L.T., Yu B., Mengshoel O.J., Zhu J., Wu P., Zhang J. 
(2014), Convolutional neural networks for human activity recognition using 
mobile sensors, in: Mobile Computing, Applications and Services 
(MobiCASE), 2014 6th International Conference on, IEEE. pp. 197-205. 
[133] Zhang M, Sawchuk AA (2011), A feature selection-based framework for 
human activity recognition using wearable multimodal sensors, In: 
Proceedings of the 6th International Conference on Body Area Networks. pp 
92-98. 
[134] Zhang L., Wu X., Luo D. (2015), Real-time activity recognition on 
smartphones using deep neural networks, in: UIC, IEEE. pp. 1236-1242. 
[135] Zhang, M., Sawchuk, A.A. (2012), Motion primitive-based human activity 
recognition using a bag-of-features approach, In: 2nd ACM SIGHIT. pp. 
631-640. ACM. 
[136] Zheng Y., Liu Q., Chen E., Ge Y., Zhao J.L. (2016), Exploiting multichannels 
deep convolutional neural networks for multivariate time series 
classification, Frontiers of Computer Science 10, 96-112.