该系统可以检测一个人在开车时是否困倦,如果有的话,可以通过使用语音消息实时提醒他。该系统使用网络摄像头和电话摄像头进行实时数据传输。
研究目的
根据国家公路交通安全管理局的数据,每年均涉及疲劳驾驶事故中导致超过1,550人死亡和71,000人受伤,但是实际数字可能要高得多[1]。因此,为了避免这类事故的发生,我们制作了这个系统。它通过检查人的眼睛是否闭合或正在打哈欠来预测眼睛和嘴巴的标志,从而确定一个人是否正处于疲劳驾驶。
主要内容
该系统的工作可以分为两个部分:
检测或定位面部。预测检测到的面部中重要区域的地标。
一旦预测出结果,我们仅使用眼睛地标和嘴部地标来确定人的眼睛长宽比(EAR)和嘴部长宽比(MAR),以检查人是否困倦。EAR和MAR的计算如下所示:
from scipy.spatial import distance as dist def eye_aspect_ratio(eye):# Vertical eye landmarksA = dist.euclidean(eye[1], eye[5])B = dist.euclidean(eye[2], eye[4])# Horizontal eye landmarks C = dist.euclidean(eye[0], eye[3])# The EAR Equation EAR = (A + B) / (2.0 * C)return EARdef mouth_aspect_ratio(mouth): A = dist.euclidean(mouth[13], mouth[19])B = dist.euclidean(mouth[14], mouth[18])C = dist.euclidean(mouth[15], mouth[17])MAR = (A + B + C) / 3.0return MAR
现在,既然有了代码,让我们了解一下代码是如何工作的:
dlib库内部的预训练面部界标检测器用于估计映射到面部面部结构的68-(x,y)坐标的位置[2]。这些68-(x,y)坐标表示脸部的重要区域,例如嘴巴,左眉,右眉,左眼,右眼,鼻子和下巴。其中,我们只需要左眼,右眼和嘴巴的(x,y)坐标:
# Grab the indexes of the facial landamarks for the left and right eye respectively (lstart, lend) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"](rstart, rend) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"](mstart, mend) = face_utils.FACIAL_LANDMARKS_IDXS["mouth"]
现在,每只眼睛都由一组6-(x,y)坐标表示,该坐标从眼睛的左上角开始(就像您在看那个人一样),然后围绕该区域的其余部分顺时针旋转[3]。 :
基于论文Real-Time Eye Blink Detection using Facial Landmarks[5],我们可以得出一个反映这种关系的方程,称为眼睛纵横比(EAR):
使用这个概念,我们计算了嘴长宽比:
正如我们看到的,嘴由一组20-(x,y)坐标表示。因此,我们已使用坐标62、64、66和68来计算两者之间的距离,方法与EAR计算相同。
结果
另外,为了保留证据,我们保存了让人昏昏欲睡的图片。
图片存储在单独的文件夹中作为证明。
源码:/fear-the-lord/Drowsiness-Detection
参考文献
[1]驾驶员在方向盘后入睡。昏昏欲睡的驾驶事故的发生率:https : ///road-safety/safety-topics/fatigued-driving
[2]带有dlib,OpenCV和Python的面部地标:https :////04/03/facial-landmarks-dlib-opencv-python/
[3]使用OpenCV,Python和dlib进行眨眼检测:https :////04/24/eye-blink-detection-opencv-python-dlib/
[4]使用OpenCV进行睡意检测:https:////05/08/drowsiness-detection-opencv/
[5]使用面部地标的实时眨眼检测:http://vision.fe.uni-lj.si/cvww/proceedings/papers/05.pdf