联觉，它是什么，它意味着什么

通感整合是指将不同的感知模式进行整合，以达到更全面、更准确的感知和认知。 理解联觉整合的概念及其意义对于理解人类感知系统的发展和技术应用具有重要意义。

联觉整合是当前通信行业的研究热点。

1. 什么是联觉整合？

联觉整合是沟通和感知的整合。 换句话说，沟通和感知是结合在一起的。

换句话说，这个世界上的一切大多都是相互联系的。

沟通和感知，这两个看似无法比较的东西，之所以能够结合在一起，是因为它们必须在最低层面上共享相同的基因。

我们对沟通非常熟悉。 通过基站和手机之间发送和接收无线信号，我们就可以在那小小的屏幕上打电话、听音乐、看视频，与世界紧密相连。

感知，顾名思义，就是通过一定的手段检测周围环境的状态，物体的位置、方向、高度、速度、距离等。 它还可以确定物体的形状甚至人类的手势。

这不是雷达的工作吗？

雷达的基本原理是发射无线电信号，然后通过检测和分析接收到的反射信号来进行高精度传感。

简单来说，当无线电信号遇到不同的介质或物体时，会因反射、折射、散射而发生不同的变化。 如果我们能够准确地测量和分析这些变化，我们就可以获得物体或介质的特征信息，例如形状、大小、位置、材质等。这相当于雷达利用无线电波“感知”物体或介质。

除了普通雷达之外，还有激光雷达、计算机断层扫描、磁共振成像等设备也能提供专业的感知能力。

现在你发现沟通和感知之间的相似之处了吗？

首先，通信和传感都需要使用无线电频谱资源，而无线电频谱资源非常稀缺且宝贵。 如果能够使用同一个无线信号来传输信息和感知，就可以节省频谱资源，提高频谱利用率。

其次，通信和感知都需要使用类似的硬件设备（如天线、放大器、滤波器等），而且硬件设备也非常昂贵和复杂。 如果一套设备能够同时支持通信和感知，就相当于节省了硬件成本。

第三，通信和感知都需要类似的信息处理（如编码、调制、解调、解码等），而且这个过程非常复杂。 如果一套算法能够同时实现通信和感知，在有限的成本下将算力提高一倍，那就太好了。

可见，基站是为了“通信”而生的专门设备，而雷达则是专门为了“感知”而存在的。 虽然它们表面上看起来很不一样，但它们的根已经牢牢地扎在地下了。 触摸云端。

如果能够将雷达的功能集成到基站中，用一套设备同时实现通信和感知的功能，达到通信辅助感知、感知辅助通信的状态，就可以可以说是两人涅槃重生般的双赢。

如上所述，沟通与感知系统的整合称为“沟通感知整合”，或简称“联觉整合”或“联觉”。

如果我们需要阅读英文资料，“Integrated Sensing And Communication”写作Integrated Sensing And Communication，简称ISAC，发音为“Isaac”。

ISAC这个名字在发音上与经典物理学创始人艾萨克·牛顿爵士的名字非常相似，这也暗中印证了“万物皆有联系”这一永恒真理。

狭义的联觉一体化是指具有上述测距、测速、测角、成像、目标检测、目标跟踪和目标识别能力的通信系统。 早期也被称为“雷达通信一体化”。

广义的联觉集成是指具有感知所有服务、网络、用户和终端以及环境物体的属性和状态的能力的通信系统。 它可以具有超越传统雷达的感知能力。

随着 5G 频谱从传统的 Sub6G 扩展到毫米波，波长的减少不断提高传感能力。 因此，在5G下半场，即5G-Advanced阶段，通信感知融合被列入标准化议程。

未来的6G，频谱将扩展到太赫兹，传感能力将进一步增强，给我们更大的想象空间。

2、沟通与感知融合有什么用？

作为5G-Advanced阶段研究的关键技术，也是6G的核心愿景之一，联觉融合可以给通信基站和终端叠加增益，帮助我们做很多事情，实现很多以前无法想象的目标。

联觉集成的目标不是取代雷达、摄像头或其他传感器。 它最大的优点就是“随波逐流”。

这是因为基站作为通信基础设施无处不在，供电、天馈、传输等资源都在铁塔上可用。 如果可以通过软件升级获得传感功能，何乐而不为呢？

以下是一些典型的联觉整合应用场景。

低空安全

随着消费级无人机的发展，由于监控难度大，无人机乱飞的现象越来越严重。 虽然这对于个人来说并不是什么大问题，但是对于一些需要保密的单位来说，无论地面安保多么严密，都无法阻止无人机飞进飞出，就像在无人居住的土地上一样，可以自由飞行未经许可在空中。 拍摄根本就不容易。

为了防止无人机“黑飞”带来的泄漏、碰撞、噪音等问题，需要高效、低成本地部署低空安防系统。 目前，无人机安防市场多种检测方案并存，但都面临技术、效率、成本等诸多限制。

通信感知融合技术可以让低空安防区域需要部署的多个基站秒变雷达，结合基站内部的计算资源，可以快速搭建低空安防系统。 只要基站信号可达，就可以实时定位和跟踪入侵者。 人机为安防系统下一步决策提供参考。

反过来，基于联觉融合提供的成像、地图构建和环境重建能力，系统可以变被动为主动，派出无人机进行侦察、后勤配送等活动，并可以利用多站感知能力在未知地点执行任务。 在环境中执行自动导航和路径规划。

智慧交通

在车联网场景中，需要识别和感知道路本身和环境，识别车辆的位置、速度和运动方向，识别道路上的异常事件。

联觉集成系统可以实时感知道路上的交通流量状况，实现人、车、路的高效协调，保障交通安全，提高交通系统的运行效率。

联觉综合系统可利用通信基站站址高、覆盖范围广的优势，实时大范围感知车道流量和车速信息，同时检测行人或动物道路入侵，有效实施道路监管，保障交通安全并提高交通效率。

智能家居

虽然基于摄像头监控家庭、分析人们的动向和行为在技术上是可行的，但个人隐私泄露的风险也非常高。

想象一下，在你不知情的情况下，你在家里的一举一动都已经变成了杜鲁门世界。 你是否感到颤抖？

因此，基于摄像头的智能家居解决方案的应用范围受到限制，基于无线的解决方案已成为业界公认的发展趋势。

综合通信与感知系统可以利用基站或Wi-Fi路由器发出的无线信号实现对人体动作和行为的精细感知，为智能家居系统提供更丰富的功能。

例如，利用联觉集成，可以人来就开灯，人走就关灯； 你可以通过不同的姿势来开关和控制任何电器，还可以实现本文开头的虚拟钢琴演奏； 当孩子爬到窗户阳台，或者老人跌倒等危险发生时，向住户发送通知； 当居民离开家时有人进入，就会触发安全警报。

除了上述的家居控制和安防监控之外，室内联觉集成还可以进行行为监控。 系统通过桌子跟踪、定位和识别，可以对人的行为进行监测、分析和判断。

例如，可以通过精细化的步态监测和识别来确定是哪位家庭成员。 还可以进一步分析每个家庭成员看电脑、看电视、睡觉、散步等活动的时间比例、活动范围和睡眠质量等。

社会治理

沟通与感知的融合还有很多意想不到的用途，比如气候环境监测、公共安全管理等社会治理的重要方面。

在气候环境监测场景中，利用无线网络的无处不在，基站可以发送综合通信和传感信号，结合水分子、灰尘和各种化学物质对无线信号衰落的特点，分析并获取综合信号强度等。改变特征，实现降水量、污染物气体排放量和空气质量的实时监测。

在公共安全管理方面，通过传感功能的实时检测，可以实现台风预警、洪水预警、沙尘暴预警等功能，为防灾提前预留时间。

智慧医疗

在医疗保健方面，通信感知集成系统不仅可以实现高速通信，还可以有效实施健康监测和管理。

现有技术已经实现了利用通信信号来监测人体的呼吸和心跳。 当发现呼吸、心率异常时，预警信息通过通信链路实时反馈给用户，实现实时监测。

同时，太赫兹成像和光谱检查也将给医疗领域带来巨大的想象空间。 例如，太赫兹可以检测癌组织、龋齿，并监测汗液、眼泪、唾液、外周血和组织液。

太赫兹成像诊断宫颈癌患者的转移淋巴结

可以说，未来基于太赫兹的联觉综合系统可以随时随地监测你的健康状况，让一切疾病都隐形。

3、通信与感知融合的技术原理

感知需要使用无线电信号进行目标检测、定位和信息提取。 其目的与我们常见的沟通不同，所以其实施原则和评价体系也不同。

对于目标检测，雷达（以及支持联觉的同一基站）需要发射信号并接收由回波信号、噪声和其他干扰组成的混合信号，并利用这些线索来确定是否可以检测到未知目标。

假设目标已经移动到感应区域，系统立即成功检测到，这当然是最好的； 如果系统没有检测到，则称为“漏检”。 然而，如果目标不存在，系统就会像“狼来了”一样报告已检测到目标。 这称为“误报”。

因此，我们对感知系统的目标检测功能的要求是在较低的误报概率下，尽可能提高检测概率。 一般来说，信噪比越高，检测概率越高。

在成功检测的基础上，可以对目标进行精确定位，即可以感知距离、速度、角度等数据。

目标距离的感知主要是通过测量发射信号与目标回波之间的时间差来实现的。 这个时间差就是电磁波在雷达（基站）之间来回传播的时间。 乘以电磁波的传输速度（即光速），然后除以2，即可算出到目标的距离。

目标速度的感知主要利用目标运动产生的多普勒效应，通过测量目标回波信号的多普勒频移推导出目标速度。

目标角度的感知主要通过天线的多个波束重叠进行，根据不同波束输出的目标反射回波的强度差来测量目标角度。

上图表达了一种测量角度的方法

对于上述目标感知性能的评价，有分辨率、定位精度、模糊范围和盲区等维度。 这些指标的定义和计算也比较复杂，这里不再详细描述。

回到通信领域，其性能通常通过系统容量、时延、误码率等指标来衡量。 当我们打开测速软件进行试用时，我们可以直观地看到表达通信性能的指标。

由于通信和感知有不同的设计和优化目标，以及不同的性能评估指标，通信的最优传输方案不一定是感知的最优，反之亦然。

因此，要实现通信和感知的融合，我们必须从底层考虑如何将这两种不同的功能和谐地拼接在一起，以及如何优化传输信号，使通信和感知的性能损失能够相对较小，并且总体实现设计目标。

首先是通信传感波形和帧结构的集成。

目前，用于通信的基站和用于传感的雷达使用不同的波形来服务各自的目标。 要在基站上集成传感功能，首要的问题是两者在波形上的共存。

雷达系统常见的波形有脉冲波和连续波。

脉冲波雷达是周期性发送的矩形脉冲。 接收是在发送间隔中执行的。 发送时无法接收。 如果目标比较近，当反射回波到达雷达天线时，信号传输还没有结束，自然无法接收到信号并检测到目标。 因此，我们说脉搏波存在感知盲区。

连续波雷达发射连续的正弦波，可以同时发射和接收。 如果信号没有经过调制，则称为单频连续波，主要用于测量目标的速度。

如果要测量目标的速度以及目标的距离，则需要对发射的波形进行调制，例如调频连续波（FMCW）。

在当前的通信系统中，连续波占主导地位，以4G和5G中使用的正交频分复用OFDM波形为代表。

通感综合波形设计主要有以下三种技术路线：以通信为中心的综合波形设计、以感知为中心的综合波形设计、通感组合综合波形设计。

虽然联觉组合的综合波形是最终目标，但实现起来也是困难的。 该性能是沟通与感知之间的折衷，目前仍处于早期研究阶段。

典型的联觉组合积分波形OFDM-Chirp的原理如下图所示。 通过频分复用将通信和传感数据分别调制到完全正交的奇数子载波和偶数子载波上，从而实现传感。 且通讯信号互不干扰。

典型联感组合积分波形 OFDM-Chirp

如果要在基站侧集成传感功能，那是在主要通信业务之外的一步，无法占据主导地位。 当然，需要以通信为中心的波形设计。 相反，如果通信功能集成在雷达上，感知自然是第一位的，自然需要以感知为中心的波形设计。

目前的移动通信网络中，存在大量的基站，这是一项投资的沉没成本。 让这些基站实现传感功能的成本相对较小，但却开辟了传感的新蓝海。 因此，需要首先考虑以通信为中心的波形设计。

目前业界实施的解决方案是，在传统的Sub-6G频段，采用OFDM连续波进行通信和感知； 在毫米波频段，通信继续使用OFDM，而感知则使用雷达波形。 无论是Sub-6G还是毫米波，通信和感知都是分时进行的，用于通信的时隙比例远大于用于感知的时隙比例。

对于联觉一体化网络架构，无线侧主要有两种方式：单站感知和多站协同感知。

所谓单站感知是指同一个基站需要同时发送感知信号和接收目标反射回波。 它可以独立自主地完成传感功能。 本文前面的图片基本都是单站感知的形式。

所谓多站协同感知是指多个基站之间的充分协作。 基站1发出感知信号。 被目标反射后，基站2接收并进行感知计算。

移动通信网络中已经存在多个基站。 这种多站感知模式可以形成大面积、无缝覆盖的分布式感知系统。 为了实现多站感知，需要基站之间严格同步。

在核心网侧，还需要增加面向服务的基于接口的网元，用于感知功能，即SF（Sensing Function）。 该网元可以与5G核心网集成部署，也可以独立部署。

5GC融合架构可以支持基站侧感知和终端侧感知，能够很好地兼顾通信和感知，兼容性好。 独立部署可以解耦通信和感知能力。 传感不依赖5GC，可以灵活地与现有传感设备连接，更适合现阶段部署。

4、通信感知融合面临的挑战

目前，3GPP R19（TR22.837）已经研究了通信感知融合。 这幅宏大的图画即将从构思走向墨迹。

以下是通信感知集成必须解决的一些挑战。

自我干扰

要实现通信与感知一体化，在发射信号的同时需要接收检测目标反射回来的回波信号。 显然，发射信号与回波信号同频，发射链路的信号强度一般远大于接收链路的信号强度，从而对接收链路造成较强的同频干扰。

这种自身对系统造成的干扰称为“自干扰”。

具体地，根据来源不同，“自干扰”包括空间域的天线自干扰、射频域的自干扰和数字域的自干扰。

联觉整合面临的自我干扰挑战

天线间自干扰是指发射端的天线信号直接泄漏并被接收天线接收。 由于接收和发射天线距离较近，干扰信号能量较大，给后续数据处理带来很大问题。

射频干扰是指信号从发射端射频链路泄漏到接收端射频链路的现象。 数字自干扰是指进入发射端的数字域杂波信号的一部分泄漏并叠加到接收端，形成干扰源。

上述天线间自干扰信号、射频自干扰信号、数字自干扰信号混合在检测目标产生的回波信号中，降低了接收信号的质量，导致接收信号的质量下降。有用信号的比例，增加了目标感知和检测的难度。 困难。

同步问题

在单站传感中，由于收发器和接收器共享相同的时钟源，同步对传感的影响很小。 然而，对于多站感知，由于信号是由不同基站发送和接收的，如果基站不同步，将会对感知精度产生很大影响。

5G通信系统中基站间的微秒级同步误差可以满足低时延、高可靠通信的基本要求。 但对于联觉整合来说，定位精度至少要达到米级甚至分米级。 发射和接收基站之间1微秒的同步误差将导致300米的距离感知误差。

因此，要实现联觉融合，必须采用软硬件算法将基站之间的同步误差控制在纳秒甚至皮秒级别。 这是实现高精度感知的必要条件。

算力问题

为了获得极致的感官体验，联觉系统对感官性能和实时感知提出了很高的要求。

例如，对于车辆等高速运动目标的感知，为了实时跟踪车辆的位置，需要在短时间内快速处理感知数据并获取感知结果并发回给用户。

对于无人机入侵的感知，由于无人机表面积有限，其反射的信号能量很小，需要高度复杂的算法来计算精确位置。

对于健康医疗来说，后端需要同时处理大量用户的健康检测数据，完成呼吸、心跳等参数的计算。

针对上述综合联觉的应用场景，一方面需要设计高精度的感知算法。 高性能算法意味着高复杂度，需要更高的计算能力。

另一方面，感知的实时性对感知结果的处理和返回提出了极高的要求，要求系统提供更快的传输速率、采样率和处理速率。

当前的通信系统，无论是网络架构还是硬件，都很难支撑如此大规模的算力。 因此，我们需要考虑计算能力，将联觉整合的概念扩展为“感觉计算整合”。

5. 结局

“联觉”一词最初是指连接不同感官的修辞手段。

比如“读蜉蝣先生的文章如吃人参果，余音缭绕，不知三月肉味”这句话。 这句话连接了视觉、味觉、听觉、嗅觉等多种感官。

虽然在修辞上用“联觉”作为“通信与感知一体化”的缩写有点像试图占领喜鹊巢，但也点出了未来通信网络的特点，即一机多用。 它更像是一个双关隐喻。 。

沟通与感知的融合，利用无线电波让我们在沟通的同时打开“感知之眼”，让我们“看到”更多、“理解”更多、“创造”更多。

联觉就是其中之一，而且未来是有希望的。