大规模多输入多输出(MIMO,multiple-input multiple-output)系统通过在基站端配置数十甚至上百根天线,可以显著提高系统的频谱效率和能量效率,增强系统的可靠性,被认为是未来无线通信,尤其是第五代(5G,the 5th generation)移动通信的关键技术之一。但是,天线的大规模增加也带来了运算复杂度的大幅度增加。因此,如何设计低复杂度高性能的检测算法是大规模MIMO系统上行链路需要解决的关键问题之一。在大规模MIMO系统中,对于基站天线数远大于用户数的场景,传统MIMO系统中的线性检测算法就可以取得理想的检测性能,但是会涉及到复杂的矩阵求逆运算。而对于用户数较多,甚至与基站天线数相当的场景,需要进一步研究能取得理想性能的低复杂度检测算法。本文围绕上述大规模MIMO系统中检测算法存在的问题,对现有大规模MIMO系统中的典型算法进行了研究,并针对大规模MIMO系统中的两种不同场景分别提出了改进算法。主要的研究内容及研究成果为:1.对低复杂度大规模MIMO检测算法进行研究。首先给出了大规模MIMO系统的模型,并简要介绍了传统MIMO系统中的经典线性检测算法,包括匹配滤波(MF,matched filter)、迫零(ZF,zero forcing)和最小均方误差(MMSE,minimum mean squared error)算法。然后介绍了三种近年来从神经网络和图像处理领域引入的大规模检测算法,分别为似然上升搜索算法(LAS,likelihood ascent search)、马尔科夫链-蒙特卡罗(MCMC,markov chain monte carlo)算法和置信传播(BP,belief propagation)算法,并对它们的性能进行了仿真研究。2.针对基站天线数远大于用户数的场景,提出了一种避免矩阵求逆的MMSE改进算法,称之为松弛迭代检测(RID,relaxation iteration detection)算法。该改进算法利用松弛迭代方法和大规模MIMO系统中的信道特性,使用迭代的方式避免了传统MMSE算法中的矩阵求逆运算,并给出了一种优化的初始解,加快了RID算法的收敛速度,从而进一步降低了算法的计算复杂度。另外,考虑到信道非理想的情况,结合RID算法的特点,指出需要进行信道估计时应采用的信道估计方法,并分析了存在大尺度衰落情况的RID算法及信道估计误差对RID算法的影响。3.针对用户数较多,甚至与基站天线数相当的场景,为了进一步降低消息传递检测(MPD,message passing detection)算法的计算复杂度,提出了一种MPD改进(IMPD,improved MPD)算法。所提的IMPD算法分别从初始化方式、迭代更新方式及收敛条件三个方面对MPD算法进行了优化,进一步加快了MPD算法的收敛速度,从而实现了计算复杂度的降低。仿真结果验证了所提IMPD算法在降低计算复杂度的同时可以实现非常接近于MPD算法的检测性能。