Luận án Phát triển các kỹ thuật biểu diễn biểu cảm khuôn mặt 3D

BỘ THÔNG TIN VÀ TRUYỀN THÔNG 
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG 
HUỲNH CAO TUẤN 
PHÁT TRIỂN CÁC KỸ THUẬT BIỂU DIỄN 
BIỂU CẢM KHUÔN MẶT 3D 
LUẬN ÁN TIẾN SĨ KỸ THUẬT 
Hà Nội – 2021 
 BỘ THÔNG TIN VÀ TRUYỀN THÔNG 
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG 
HUỲNH CAO TUẤN 
PHÁT TRIỂN CÁC KỸ THUẬT BIỂU DIỄN 
BIỂU CẢM KHUÔN MẶT 3D 
Chuyên ngành : Hệ thống thông tin 
Mã số : 9.48.01.04 
LUẬN ÁN TIẾN SĨ KỸ THUẬT 
NGƯỜI HƯỚNG DẪN KHOA HỌC 
1. PGS. TS. Đỗ Năng Toàn 
2. TS. Nguyễn Thanh Bình 
Hà Nội – 2021
i 
LỜI CẢM ƠN 
Xin chân thành cảm ơn Quý thầy/cô Học viện Công nghệ Bưu Chính Viễn 
Thông đã giúp đỡ tận tình để nghiên cứu sinh hoàn thành Luận án. Xin bày tỏ lòng 
biết ơn sâu sắc đến hai vị Thầy kính yêu, đó là PGS.TS. Đỗ Năng Toàn và TS. Nguyễn 
Thanh Bình; những người đã tận tình hướng dẫn, gợi ý và cho nghiên cứu sinh những 
lời khuyên hết sức bổ ích trong suốt quá trình thực hiện luận án. Bên cạnh đó nghiên 
cứu sinh xin gửi lời cảm ơn đến Ban Lãnh đạo, những thầy cô quản lý Sau đại học 
của Học viện Công nghệ Bưu Chính Viễn Thông đã hỗ trợ trong quá trình nghiên cứu 
sinh nghiên cứu tại Trường. Nghiên cứu sinh xin chân thành cảm ơn Trường Đại học 
Lạc Hồng là nơi nghiên cứu sinh đã và đang làm việc; qua đây xin trân trọng gửi lời 
cảm ơn chân thành đến Ban lãnh đạo Nhà Trường vì đã không ngừng quan tâm, khích 
lệ và tạo điều kiện thuận lợi để nghiên cứu sinh có thời gian hoàn thành nhiệm vụ 
nghiên cứu và thực hiện Luận án này. Đồng thời, nghiên cứu sinh cũng xin cảm ơn 
sự hợp tác của các đồng nghiệp ở Viện công nghệ thông tin - Viện Hàn lâm Khoa học 
và Công nghệ Việt Nam. Qua sự hợp tác này đã giúp nghiên cứu sinh nhìn nhận vấn 
đề nghiên cứu ở nhiều góc độ khác nhau, hoàn thiện hơn thông qua các buổi thảo luận 
của nhóm. Bên cạnh đó, nghiên cứu sinh xin cảm ơn sự động viên, chia sẻ của các 
anh/chị nghiên cứu sinh trong suốt thời gian cùng nhau học tập và nghiên cứu tại 
Trường. Cuối cùng, con xin chân thành cảm ơn Cha, Mẹ đã luôn động viên trong quá 
trình học tập. 
 Trân trọng, 
 Huỳnh Cao Tuấn 
ii 
LỜI CAM ĐOAN 
Trên cơ sở nghiên cứu lý thuyết, kiến thức thực tiễn và dưới sự hướng dẫn khoa 
học của PGS.TS. Đỗ Năng Toàn và TS. Nguyễn Thanh Bình. 
Tôi xin cam đoan rằng, bản luận án tiến sĩ này là công trình nghiên cứu của bản 
thân và không sao chép nội dung từ các luận án hay công trình khác. 
Các kỹ thuật và những kết quả trong luận án là trung thực, được đề xuất từ 
những yêu cầu thực tiễn, chưa từng được công bố trước đây. 
 Nghiên cứu sinh 
 Huỳnh Cao Tuấn 
iii 
MỤC LỤC 
LỜI CẢM ƠN .............................................................................................................. i 
LỜI CAM ĐOAN ....................................................................................................... ii 
MỤC LỤC ................................................................................................................. iii 
DANH MỤC CÁC TỪ VIẾT TẮT ............................................................................ v 
DANH MỤC KÝ HIỆU TOÁN HỌC ...................................................................... vii 
DANH MỤC CÁC BẢNG ...................................................................................... viii 
DANH MỤC HÌNH ................................................................................................... ix 
MỞ ĐẦU ..................................................................................................................... 1 
1. Sự cần thiết của đề tài .......................................................................................... 1 
2. Đối tượng, Mục tiêu, Phạm vi và Phương pháp nghiên cứu ................................ 3 
3. Các đóng góp của luận án .................................................................................... 5 
4. Bố cục luận án ...................................................................................................... 6 
Chương 1 ..................................................................................................................... 7 
TỔNG QUAN VỀ TRÍCH CHỌN ĐẶC TRƯNG VÀ BIỂU DIỄN BIỂU CẢM 
KHUÔN MẶT ............................................................................................................ 7 
1.1. Tổng quan về một hệ thống biểu cảm khuôn mặt ...................................... 7 
1.1.1. Khái niệm biểu cảm mặt người .................................................................. 8 
1.1.2. Định nghĩa điểm điều khiển ..................................................................... 10 
1.1.3. Một số vấn đề trong một hệ thống mô phỏng biểu cảm ........................... 10 
1.2. Nhận diện và trích chọn đặc trưng biểu cảm ............................................ 12 
1.2.1. Một số phương pháp phát hiện khuôn mặt trong ảnh ............................... 12 
1.2.2. Bài toán trích chọn đặc trưng biểu cảm khuôn mặt .................................. 16 
1.2.3. Một số cách tiếp cận trích chọn đặc trưng ................................................ 17 
1.3. Biểu diễn biểu cảm khuôn mặt ................................................................. 25 
1.3.1. Các khía cạnh hình học của khuôn mặt người .......................................... 26 
1.3.2. Một số vấn đề trong biểu diễn biểu cảm ................................................... 27 
1.3.3. Một số phương pháp tiếp cận giải quyết bài toán ..................................... 28 
1.4. Tổng kết chương và vấn đề nghiên cứu.................................................... 37 
Chương 2 ................................................................................................................... 39 
KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CỬ CHỈ VÀ ƯỚC LƯỢNG BIỂU 
CẢM .......................................................................................................................... 39 
2.1 Bài toán phát hiện khuôn mặt ................................................................... 39 
2.1.1 Mô hình khuôn mặt mẫu ........................................................................... 39 
2.1.2 Phát hiện khuôn mặt ................................................................................. 44 
2.1.3 Kết quả thử nghiệm .................................................................................. 44 
2.2 Bài toán trích chọn đặc trưng cử chỉ ......................................................... 46 
iv 
2.2.1 Loại bỏ nhiễu hình ảnh ............................................................................. 48 
2.2.2 Làm mịn bảo toàn cạnh của khuôn mặt .................................................... 49 
2.2.3 Hiệu chỉnh ánh sáng và cải thiện đặc trưng khuôn mặt ............................ 50 
2.2.4 Trích chọn đặc trưng cử chỉ của khuôn mặt ............................................. 51 
2.3 Ước lượng biểu cảm khuôn mặt ............................................................... 61 
2.4 Đề xuất kỹ thuật ước lượng biểu cảm khuôn mặt..................................... 64 
2.4.1 Mô hình ước lượng ................................................................................... 64 
2.4.2 Đề xuất sử dụng đặc trưng hình dạng ....................................................... 65 
2.4.3 Hàm quyết định ........................................................................................ 66 
2.4.4 Thử nghiệm ............................................................................................... 67 
2.5 Tổng kết chương ....................................................................................... 72 
Chương 3 ................................................................................................................... 74 
BIỂU DIỄN CỬ CHỈ, BIỂU CẢM TRÊN KHUÔN MẶT 3D ................................ 74 
3.1 Bài toán biểu diễn cử chỉ, biểu cảm khuôn mặt 3D .................................. 74 
3.2 Kỹ thuật nội suy RBF ............................................................................... 76 
3.2.1 Ý tưởng tiếp cận của thuật toán ................................................................ 76 
3.2.2 Lựa chọn tham số hình dạng..................................................................... 77 
3.2.3 Thuật toán nội suy .................................................................................... 79 
3.3 Nội suy thể hiện các cử chỉ, biểu cảm của khuôn mặt người 3D ............. 82 
3.3.1 Ước lượng tập vector đặc trưng ................................................................ 83 
3.3.2 Tính toán mô hình đích ............................................................................. 85 
3.3.3 Tính toán quá trình biến đổi ..................................................................... 86 
3.4 Xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng .................... 88 
3.4.1 Đặc trưng biến dạng của các điểm ............................................................ 88 
3.4.2 Xác định các nhóm tương đồng và chọn điểm điều khiển ....................... 89 
3.4.3 Phân tích hiệu quả trong biến đổi mô hình ............................................... 91 
3.4.4 Thử nghiệm nắn chỉnh mô hình ................................................................ 92 
3.5 Đề xuất xây dựng hệ thống mô phỏng biểu cảm khuôn mặt 3D .............. 97 
3.6 Tổng kết chương ....................................................................................... 98 
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .............................................................. 100 
DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ ..................................................... 102 
TÀI LIỆU THAM KHẢO ....................................................................................... 103 
v 
DANH MỤC CÁC TỪ VIẾT TẮT 
Từ viết tắt Tiếng Anh Tiếng Việt 
2D Two Dimension Hai chiều 
3D Three Dimension Ba chiều 
AAM Active Appearance Model Mô hình định vị điểm điều khiển 
AF Average Filter Bộ lọc trung bình 
AMF Adaptive Median Filter Bộ lọc trung vị 
ANN Artificial Neural Network Mạng thần kinh nhân tạo 
ASM Active Shape Model Mô hình hình dạng 
AUs Facial Action Units Đơn vị hành động trên khuôn mặt 
BEs Basic Emotions Cảm xúc cơ bản 
BF Bilateral Filter Bộ lọc song phương 
CEs Compound Emotions Cảm xúc tổng hợp 
CLAHE 
Contrast-limited adaptive 
histogram equalization 
Cân bằng biểu đồ thích ứng có giới hạn 
tương phản 
CLM Constrained Local Model Mô hình cục bộ ràng buộc 
ECG Electrocardiogram Điện tâm đồ 
EEG Electroencephalogram Điện não đồ 
ELM 
Extreme Learning 
Machine 
Máy học cực độ 
EMG Electromyography Điện cơ 
FACS 
Facial Action Coding 
System 
Hệ thống mã hóa hành động trên khuôn 
mặt 
FER 
Facial Expression 
Recognition 
Nhận dạng biểu cảm khuôn mặt 
FLs Facial Landmarks Dấu mốc trên khuôn mặt 
GF Gaussian Filter Bộ lọc Gaussian 
HMM Hidden Marko Model Mô hình ẩn Marko 
vi 
Từ viết tắt Tiếng Anh Tiếng Việt 
HSV 
HUE, SATURATION, 
VALUE 
Vùng màu, đ ... s of the IEEE/CVF Conference on Computer 
Vision and Pattern Recognition. 
[79] Mahardika C., Itimad R., Ahmad H. and Nadz S. (2013), Eye, lip and crying expression 
for virtual human. International Journal of Interactive Digital Media, 1(2). 
[80] Manusov V. (2016), Facial Expressions. The International Encyclopedia of 
Interpersonal Communication. 
[81] Martinkauppi, B. (2002), Face colour under varying illumination - analysis and 
applications. University of Oulu repository. 
[82] Matsumoto D., Sung Hwang H. (2011), Reading facial expressions of emotion. 
Psychological Science Agenda. 
[83] Mattela, G., Gupta, S.K. (2018), Facial Expression Recognition Using Gabor-Mean-
DWT Feature Extraction Technique. In Proceedings of the 5th International Conference on 
Signal Processing and Integrated Networks (SPIN), Noida, India, 22–23 Februar, pp. 575–
580. 
[84] Micchelli CA (1986), Interpolation of scattered data: Distance matrices and 
conditionally positive definite functions. Constr Approx 2, pp. 11–22. 
[85] Michael J. Lyons, Miyuki Kamachi, Jiro Gyoba (2020), Coding Facial Expressions with 
Gabor Wavelets (IVC Special Issue). In Proceedings of the Third IEEE International 
Conference on Automatic Face and Gesture Recognition, Nara, Japan, pp. 200–205. 
[86] Nagao, M. A., Matsuyama, T. M. (1979), Edge Preserving Smoothing.. Computer 
Graphics and Image Processing, 9, pp. 374-407. 
[87] Ngo P.; Nicolas P.; Yukiko K.; Hugues T. (2014), Topology-Preserving Rigid 
Transformation of 2D Digital Images. IEEE Transactions on Image Processing, 23. 
110 
[88] Ojala, Timo, Matti Pietikainen, and David Harwood (1994), Performance evaluation of 
texture measures with classification based on Kullback discrimination of distributions. 
Proceedings of 12th international conference on pattern recognition., Vol. 1. IEEE. 
[89] Pantic M.; Rothkrantz L.J.M. (2000), Automatic analysis of facial expressions: The 
state of the art. IEEE TPAMI, 22(12), pp. 1424-1445. 
[90] Parke FI (1972), Computer generated animation of faces. Proceedings of the ACM 
annual conference, pp. 451-457. 
[91] Pizer, S. M., Amburn, E. P., Austin, J. D. , Cromartie, R., Geselowitz, R., Greer, T., 
Romeny, B. T. H., Zimmerman, J. B. (1987), Adaptive histogram equalization and its 
variations. Computer Vision, Graphics, and Image Processing, 39(3), pp. 355-368. 
[92] Raouzaiou A., Karpouzis K., and Kollias S. D. (2003), Online gaming and emotion 
representation. In N. N. García, J. M. Martínez, and L. Salgado, editors, Volume 2849 of 
Lecture Notes in Computer Science, pp. 298– 305. 
[93] Reisfeld, D., Wolfson, H., Yeshurun, Y. (1995), Context Free Attentional Operators: 
The Generalized Symmetry Transform. Computer Vision, Special Issue on Qualitative 
Vision. 
[94] Ren S. , He K. Girshick R., and Sun J. (2017), Faster R-CNN: towards real-time object 
detection with region proposal networks. IEEE Transactions on Pattern Analysis and 
Machine Intelligence, pp: 1137 - 1149 
[95] Renan Fonteles Albuquerque; Paulo D. L. de Oliveira; Arthur P. de S. Braga (2018), 
Adaptive Fuzzy Learning Vector Quantization (AFLVQ) for Time Series Classification. 
Fuzzy Information Processing, pp. 385-397. 
[96] Rowley, H., Baluja, V., Kanade, T. (1998), Neural Network-Based Face Detection. 
IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(1), pp. 23-38. 
[97] Scassellati B. (1998), Eye finding via face detection for a foevated, active vision system. 
Proceedings of 15th National Conference on Artificial Intelligence, pp. 1146-1151. 
[98] Schneiderman H., Kanade T. (1998), Probabilistic modeling of local appearance and 
spatial relationships for object detection. Proceedings of IEEE Conference on Computer 
Vision and Pattern Recognition, pp. 40-50. 
[99] Schoenberg IJ (1938), Metric spaces and completely monotone functions. Ann Math, 
39, pp. 811–841. 
[100] Seo Y, Lewis J, Seo J, Anjyo K, Noh J. (2012), Spacetime expression cloning for 
blendshapes. ACM Transactions on Graphics, 31(2), pp. 1-12. 
111 
[101] Shaif C.; Soummyo P.C; Tapan K.H (2017), Vehicle detection and counting using haar 
feature-based classifier. IEEE: Annual Industrial Automation and Electromechanical 
Engineering Conference (IEMECON), 16-18 Aug. 
[102] Shishir Bashyal; Ganesh K.Venayagamoorthy (2008), Recognition of facial 
expressions using Gabor wavelets and learning vector quantization. Engineering 
Applications of Artificial Intelligence, 21, pp. 1056-1064. 
[103] Sterring, M., Andersen, H. J., and Granum, E. (1999), Skin Color Detection Under 
Changing Lighting Condition. Symposium on the Intelligent Robotics Systems, pp. 187-195. 
[104] Su H., Zheng G. (2008), A partial least squares regression-based fusion model for 
predicting the trend in drowsiness. IEEE Transactions on Systems, Man, and Cybernetics - 
Part A: Systems and Humans, 38(5), pp. 1085-1092. 
[105] Tayib S. Jamaludin Z. (2015), An Algorithm to Define Emotions Based on Facial 
Gestures as Automated Input in Survey Instrument. American Scientific Publishers 
Advanced Science Letters. 
[106] Tian Y.I., Kanade T., Cohn J.F (2001), Recognizing action units for facial expression 
analysis. IEEE Trans. Pattern Anal. Mach. Intell, 23, pp. 97–115. 
[107] Toan H.M., Toan D.N., Hien L.T., Lang T.V. (2012), Modeling the human face and 
its application for detection of driver drowsiness. International Journal of Computer Science 
and Telecommunications, 3(11), pp. 56-59. 
[108] Tomita, F. A., Tsuji, S. (1997), Extraction of Multiple regions by smoothing in selected 
neighborhoods. IEEE Trns. Systems, Man and Cybernetics SMC-7, pp. 107-109. 
[109] Tong-Yee L, Po-Hua H. (2003), Fast and intuitive metamorphosis of 3D polyhedral 
models using SMCC mesh merging scheme. Visualization and Computer Graphics, IEEE 
Transactions, 9(01), pp. 85 – 98. 
[110] Torre, F. D. L., Campoy, J., Cohn, J. F., Kanade, T. (2007), Simultaneous registration 
and clustering for temporal segmentation of facial gestures from video. Proceedings of the 
Second International Conference on Computer Vision Theory and Applications, 2, pp. 110-
115. 
[111] Turkan M., Pardas M., Enis Cetin A. (2008), Edge projections for eye localization. 
Optical Engineering, 47(4). 
[112] Valstar M., Jiang B., Méhu M., Pantic M., and Scherer K. (2011), The first facial 
expression recognition and analysis challenge. IEEE Int’l. Conf. Face and Gesture 
Recognition. 
112 
[113] Velásquez J. D. (1997), Modeling emotions and other motivations in synthetic agents. 
In Proceedings of the 14th National Conference on Artificial Intelligence and 9th Innovative 
Applications of Artificial Intelligence Conference (AAAI-97/IAAI-97), pp. 10–15. 
[114] Viola, Paul, and Michael J. (2001), Rapid object detection using a boosted cascade of 
simple features.. Proceedings of the 2001 IEEE computer society conference on computer 
vision and pattern recognition., Vol. 1. Ieee.. 
[115] Wang H. ,Li Z. ,Ji X., and Wang Y. (2017), Face r-cnn. Computer Vision and Pattern 
Recognition (cs.CV). 
[116] Wang Y., Ji X., Zhou Z. , Wang H., and Li Z. (2017), Detecting faces using region-
based fully convolutional networks. Computer Vision and Pattern Recognition (cs.CV). 
[117] Wang Z., Ierapetritou M. (2017), A novel feasibility analysis method for black-box 
processes using a radial basis function adaptive sampling approach. AIChE Journal, 63, pp. 
532-550. 
[118] Wang, P., Barrett, F., Martin, E., Milonova, M., Gur, R. E., Gur, R. C., Kohler, C., 
Verma, R (2008), Automated video-based facial expression analysis of neuropsychiatric 
disorders. Journal of Neuroscience Methods, 168(1), pp. 224–238. 
[119] Wang, Y., Lucey, S., Cohn, J. (2007), Non-Rigid Object Alignment with a Mismatch 
Template Based on Exhaustive Local Search. IEEE Workshop on Non-rigid Registration 
and Tracking through Learning. 
[120] Wiener, N. (1949), Extrapolation, Interpolation, and Smoothing of Stationary Time 
Series. New York: Wiley. 
[121] Wilson CA, Alexander O, Tunwattanapong B, Peers P, Ghosh A, Busch J, Hartholt A, 
Debevec P (2011), Facial cartography: interactive high-resolution scan correspondence. 
Conference: International Conference on Computer Graphics and Interactive Techniques, 
SIGGRAPH 2011, Vancouver, BC, Canada, August 7-11, 2011, pp. 205-214. 
[122] Wu T., Butko N. , Ruvolo P. , Whitehill J. , Bartlett M. and Movellan J. (2011), Action 
unit recognition transfer across datasets. Proc. IEEE Int. Conf. Autom. Face Gesture Anal, 
pp. 889-896. 
[123] Wu Y., Ai X. (2008), Face detection in color images using Adaboost algorithm based 
on skin color information. Proceedings of the First International Workshop on Knowledge 
Discovery and Data Mining, pp. 339-342. 
[124] Yang S. ,Xiong Y. ,Loy C. C. , and TangX. (2017), Face detection through scale-
friendly deep convolutional networks. Computer Vision and Pattern Recognition (cs.CV). 
113 
[125] Yano K., Harada K. (2009), A facial expression parameterization by elastic surface 
model. International Journal of Computer Games Technology, 2009, pp. 1-11. 
[126] Yong Joo K.,et al (2005), Yong Joo Kim et al (2005), “3D warp brush: interactive 
free-form modeling on the responsive workbench. Proceedings Virtual Reality IEEE, pp. 
279–280. 
[127] Yoshitomi, Y., Kim, S., Kawano, T., and Kitazoe, T. (2000), Effect of Sensor Fusion 
for Recognition of Emotional States Using Voice, Face Image and Thermal Image of Face.. 
presented at IEEE International Workshop on Robot and Human Interactive 
Communication. 
[128] You L., Southern R., Zhang J. (2009), Adaptive physics–inspired facial animation. 
Motion in Games, 5884, pp. 207-218. 
[129] Yu J.,Jiang Y.,Wang Z.,Cao Z., and Huang T. S. (2016), Unitbox: An advanced object 
detection network. Proceedings of the 24th ACM international conference on Multimedia, 
pp: 516–520 
 [130] Zhang C., Xu X., and Tu D. (2018), Face detection using improved faster RCNN. 
Computer Vision and Pattern Recognition (cs.CV). 
[131] Zhang S. ,Zhu X. ,Lei Z. , Shi H., Wang X., and Li S. (2017), Single shot scale-
invariant face detector. Proceedings of the IEEE International Conference on Computer 
Vision (ICCV), pp. 192-201 
[132] Zhang S., Wu Z., Meng H.M., and Cai L. (2010), Facial expression synthesis based on 
emotion dimensions for affective talking avatar. In Modeling Machine Emotions for 
Realizing Intelligence, SIST, pp. 109–132. 
[133] Zhang S., Zhu X., Lei Z., Shi H., Wang X., and Li S. Z. (2017), A CPU real-time face 
detector with high accuracy. IEEE International Joint Conference on Biometrics.. 
[134] Zhang, Jialiang, et al. (2020), Feature agglomeration networks for single stage face 
detection. Neurocomputing, 380, pp. 180-189. 
[135] Zuiderveld, K. (1994), Contrast limited adaptive histogram equalization. Graphics 
gems IV, Academic Press Professional, Inc., San Diego, CA.