随着移动互联网与物联网的迅猛发展,各类应用对移动网络的容量、速率、能量效率的要求不断的提高。在第五代移动网络(5G)的研究过程中,大规模MIMO技术被认为是5G网络最重要的支撑技术之一。本论文针对大规模MIMO技术中的物理层安全隐患展开研究,提出了基于随机符号方法的和基于子空间方法的两种有效的主动窃听行为检测机制。基于随机符号方法的主动窃听行为检测机制,以专用随机符号的统计特性为基础,构建合理的检验统计量,通过分析不存在主动窃听行为时检验统计量的统计分布规律设计安全区域,从而进行是否存在主动窃听行为的假设检验。将多次独立实验结果融合来提高整体检测性能。同时,增加功率辅助检测机制以避免更加智能的主动窃听用户的逃避检测机制的行为。算法理论检测性能分析和仿真实验均证明基于随机符号方法的检测机制能有效检测主动窃听行为,其检测性能随基站天线数、基站接收信号信噪比、主动窃听信号功率、随机符号序列长度的增长而显著提升,且优于现有同类检测算法。最后,检测算法能在一定程度上提升系统的安全容量。基于子空间方法的主动窃听行为检测机制,以信号子空间方法为基础,随着基站接收导频信号矩阵的维度和样本量的增大,其经验谱分布会逐渐收敛于其极限谱分布,因此可将矩阵的极限谱分布作为理论依据来判断其经验谱分布是否正常,即是否包含非法的主动窃听信号分量。算法首先对合法信号分量使用大维随机矩阵理论求解其极限谱分布,然后计算检验统计量的理论值。利用大维随机矩阵理论去除特征谱中包含的噪声分量,而后进行假设检验以判断是否存在主动窃听行为。仿真实验证明,基于子空间方法的检测机制能有效检测主动窃听行为,其性能随基站与合法用户天线数的比值、采样点数、基站接收信号信噪比、主动窃听信号功率的增大显著增强,且优于同类对比算法。