‘MohammedZaki和WagnerMeira,Jr编写的这本书是教授数据挖掘或数据科学课程的极佳选择。它涵盖了基础和高级数据挖掘主题，解释了数据科学的数学基础和算法，每章都有习题，并提供了数据、幻灯片及其他补充材料，供伴随网站使用。’——GregoryPiatetsky-Shapiro，计算机协会知识发现与数据挖掘特别兴趣小组（ACMSIGKDD）创始人‘世界级专家编写，提供了全面的数据挖掘主题内容，从基础统计学到基本方法（聚类、分类、频繁项集），再到高级方法（奇异值分解（SVD）、支持向量机（SVM）、核方法、谱图理论、深度学习）。对于每个概念，书中巧妙地平衡了直观理解、算术例子和严谨的数学细节。它既可以作为教材，也可以作为参考书。’——ChristosFaloutsos，卡内基梅隆大学（CarnegieMellonUniversity），宾夕法尼亚州，ACMSIGKDD创新奖得主书籍描述
“人工智能与人类思维战场”题目有三种不同的解释：
最后，第三种解释指的是，人类的思想是利用人工智能来吸引我们的注意力并影响我们的信仰和行为的战争场地。通常认为国家间的冲突涉及实体武器，但现代战争主要是一种社会现象，战斗发生在搜索引擎和社交媒体上。在过去的10-15年里，民众都受到了这些系统性混合战争的影响，这些战争破坏了民主结构的稳定。人工智能和认知神经科学领域的进步为借助所谓的认知战争影响人脑带来了新的可能性。“认知战是一种战略，其重点是改变目标人群的思维方式--并通过这种方式改变其行为方式"（Burda，2023年）。通过收集和分析我们的在线行为和偏好数据，人工智能算法已经比我们自己更了解我们。巧妙定制的信息，无论真假，都能迎合我们的情绪，吸引我们的注意力，正如我们在COVID-19大流行中清楚体验到的那样。我们如何才能让人工智能加入我们的团队，帮助我们提高感知力，发现虚假信息，保护我们免受认知操纵？人工智能在道义上是否有义务做到实事求是？
摘要——根据规模预测，大型模型在许多领域取得了突破性进展，特别是在自然语言生成任务中，它们的表现已接近甚至超越人类水平。然而，前所未有的参数规模带来了显著的计算和存储成本。这些大型模型需要大量的计算资源和GPU内存来运行。在将大型模型适应于特定下游任务时，其庞大的参数规模在计算能力和GPU内存有限的硬件平台上微调时面临重大挑战。为了解决这个问题，参数高效微调（PEFT）通过有效调整大型预训练模型的参数以适应各种下游任务，提供了一种实用的解决方案。具体而言，PEFT调整预训练大型模型的参数，以适应特定任务或领域，最小化额外参数的引入和所需的计算资源。本文主要介绍PEFT的基础知识、各种PEFT算法的核心思想和原理、PEFT的应用以及未来研究方向。通过阅读本综述，我们相信感兴趣的读者能够迅速掌握PEFT方法论，从而加速其发展和创新。关键词——微调、参数高效、大型语言模型、深度学习、人工智能。
技术进步和创新使现代军队的作战能力不断提高。美国军方认识到，人工智能（AI）的发展为维持空中优势带来了越来越大的安全风险（Morgan等人，2020年）。美国空军（USAF）的主要任务是空中优势，即在友军行动不受敌方干扰的情况下实现空中优势（美国空军部，2016年）。人工智能的崛起为敌方战斗人员以前所未有的方式破坏美国空军的空中优势目标提供了机会。Hoadley和Lucas（2018年）指出，人工智能技术为军事行动带来了独特的挑战，因为绝大多数人工智能研究都发生在私营部门。因此，美国空军已通过国防高级研究计划局（DARPA）调查的倡议认识到，它必须在空对空作战领域利用人工智能的进步。众所周知的F-16飞机已经接受了人工智能方法的训练，可以在测试试验中自主飞行并执行各种任务（马丁，2017年）。
目前，一些国家正在对人工智能技术民主化后建立的半自动飞机进行飞行测试。Byrnes（2014）得出结论认为，这些自主飞机代表着空战战术新一天的到来。2015年，美国前海军部长表示，F-35几乎肯定会成为最后一种有人驾驶的战斗机（LaGrone，2015）。通常情况下，飞机由人类飞行员在空中或通过无人机系统控制。由人类飞行员在空中控制的飞机面临着基于人体机能的限制。不受人类飞行员限制的飞机有可能承受以前无法想象的机动动作（Halpern，2022年）。美国国防部研究机构的“空战进化”项目计划于2024年在四架由人工智能控制的飞机之间进行一次空对空实战演习。尽管这些演习只是初步的，但如前所述，在不远的将来，各国军队使用人工智能增强型飞机来对付敌人并非不可想象。
从第一次世界大战到20世纪50年代中期，空对空作战的形式是视距内（WVR）空战，也称为“狗斗”。WVR空战要求飞行员操纵飞机部署火炮摧毁目标。20世纪中期的武器发展包括红外（IR）和雷达制导导弹。制导导弹的首次使用是在1958年9月（Stillion，2015年）。这些导弹允许在超视距（BVR）环境下进行攻击，在这种环境下，敌人可以被摧毁，而无需像在WVR环境下那样机动到有利位置使用火炮。现在，BVR作战占据了空对空交战的大部分（Stillion，2015）。因此，美国空军的当务之急是充分利用在飞机探测、传感和空对空导弹（AAM）方面取得的技术进步，获取并保持空中优势。
过去，由于缺乏敌我识别（IFF）能力，BVR技术的进步及其实施受到了限制。在BVR环境下，无法识别飞机是敌是友会让飞行员犹豫不决（Stillion，2015年）。IFF技术不断进步，使飞行员能够在远程BVR环境中辨别飞机是敌是友（Stillion，2015年）。基于这一现代现实，Stillion（2015）预计空对空作战将趋向于传感器技术和远程信息的较量，而不是飞机速度和机动性的较量，而速度和机动性在WVR空对空作战环境中是非常可取的。
此外，军用人工智能对美军构成了独特的威胁，因为美军并不垄断该技术。美国国防部对《2022年国防战略》的总结肯定了这一现实，其中观察到俄罗斯和中国等国家为在各自军队中利用人工智能进行了大量投资（UnitedStatesDepartmentofDefense,2022）。因此，如果美国及其盟国希望在现代保持空中优势，那么人工智能在国防领域的发展就必须继续下去。
人工智能技术（或更具体地说，机器学习）性能的基础是自主系统用于“学习”的训练经验（JordanandMitchell,2015）。训练自主系统的一种方法是基于规则的逻辑，即在给定一组信息要素的情况下，自主智能体根据预先设定的选择做出决策。一旦知道了智能体将要做出的举动，这类人工智能就很容易被打败。同样，新的智能行为也不是通过简单地将已知信息嵌入人工智能体内部就能获得的。为了应对军事领域自主系统所面临的难题，人工智能需要提供新的信息，为用户带来优势。
与基于规则的逻辑相比，更好的方法是用强化学习（RL）来训练自主系统。强化学习是智能体发现哪些行为能给它们带来最大回报的过程（Sutton和Barto，2018年）。正如摩根等人（2020年）所说明的，RL非常适合复杂的游戏式场景，在这种场景中，学习智能体可以利用游戏环境的优势来发现制胜策略。例如，RL可以训练计算机智能体在最复杂的活动中击败人类冠军，如经典的围棋游戏（Silver等人，2016年）。即便如此，这些击败冠军的智能体也可能被另一个通过RL训练的智能体利用对手的策略击败（Silver等人，2017年）。研究人员利用空对空作战的博弈特性，使用博弈论对其进行建模（Austin等人，1990年）。由于空对空作战非常适合建模，而RL已被证明能够为决策者提供高质量的行动，因此在研究中使用RL是非常合适的。
因此，试图模拟在一对一（1v1）BVR战斗中的自主无人战斗飞行器（AUCAV），在这种战斗中，AUCAV做出机动和武器部署决策以击败对手飞机。采用RL技术优化AUCAV的能力，以生成这种智能体。制定了一个无限视距、贴现马尔可夫决策过程（MDP）模型来模拟这一场景。马尔可夫决策过程是一种顺序决策模型，用于确定基于系统环境的最优决策（Puterman，2005年）。顺序决策问题可通过RLPowell(2022)求解。本研究采用无模型RL算法Q-learning来确定最佳决策策略。
RL算法与仿真、集成和建模高级框架（AFSIM）（West和Birkmire，2020年）相连接。AFSIM为RL智能体提供了训练和获得高质量解决方案的环境。在美国国防部，AFSIM是标准的任务级仿真工具（Zhang等人，2020年）。由于它是面向对象和基于智能体的，AFSIM为实施RL解决方案程序提供了理想的基础，同时还包含了两架竞争飞机的必要领域信息。利用Python编程语言来构建算法，并与AFSIM接口，以测试和训练智能体。
本研究旨在填补BVR空中格斗场景RL解决方案方面的文献空白。从McGrew等人（2010年）开始，空战机动问题（ACMP）被证明可以通过ADP（即基于模型的RL）求解。Yang等人（2019）、Wang等人（2020）、Pope等人（2021）和Crumpacker等人（2022）将McGrew等人（2010）的研究扩展到了高保真模型和不同的ADP求解程序。不过，McGrew等人（2010年）的研究以及他们的延伸研究考虑的是可视范围内（WVR）的设置。贡献包括采用无模型RL求解程序来解决1v1BVR-ACMP问题，这在ACMP文献中尚未成为研究对象。此外，还探讨了不同环境问题特征的重要性，以及它们在使AUCAV战胜敌方AUCAV方面的能力。
本文提出了一个用于模拟军事行动的高级实时战略（RTS）游戏“指挥：现代作战”（CMO）的强化学习（RL）框架。这是一款模拟军事行动的高级实时战略（RTS）游戏。CMO挑战玩家在战术、战役和战略决策方面的驾驭能力，涉及多个单元的管理、有效的资源分配和并发行动分配。本研究的主要目标是利用RL的功能，实现军事决策的自动化和增强。为实现这一目标，我们开发了一种具有独特架构的参数化近端策略优化（PPO）智能体，专门用于应对CMO带来的独特挑战。通过改编和扩展AlphaStar和OpenAIFive等该领域成果中的方法，该智能体展示了RL在军事模拟中的潜力。我们的模型可以处理CMO中呈现的各种场景，标志着在将人工智能（AI）与军事研究和实践相结合方面迈出了重要一步。这项研究为今后探索将人工智能应用于国防和战略分析奠定了基础。
CMO全面细致地模拟了二战后至当代的空中、海上和地面军事行动。游戏为应用真实世界的军事战略和战术提供了一个复杂的平台，并以大量历史和现代军事硬件和系统数据库为基础。模拟引擎能够处理各种军事交战，从局部遭遇战到大规模全球冲突。
如图1所示，游戏的图形用户界面采用高分辨率卫星图像和详细地形图渲染的全球综合视图，为游戏中的所有操作提供了基础环境。玩家可以操作控制各种军事单元，包括飞机、舰船、潜艇、地面部队甚至战略武器，在复杂的任务和场景中进行导航。
游戏中的每个单元都按照真实世界的规格进行了高保真建模，涵盖了武器能力、燃料消耗、物理限制、传感器功能和真实通信系统等方面，确保了高度精确的模拟。
CMO配备了场景编辑器，允许玩家创建从历史战役到虚拟冲突的不同场景，为研究复杂的军事行动提供了手段。这使得CMO不仅是一个娱乐平台，也是军事训练和战略分析的工具。
CMO与RL智能体的整合建立在已有初步工作基础之上。尽管有了这个起点，但在推进项目的过程中还是遇到了相当大的挑战。有效设置应用程序接口（确保快速执行和有效训练的关键步骤）的任务需要大量的工作。游戏的多面性为高级智能体提供了理想的试验平台，使我们的工作受益匪浅。
本节将介绍PPO智能体的神经网络架构，该架构旨在扮演CMO中的任何场景。RL智能体的简化表示如图2所示，展示了一个通过嵌入处理观察结果的共享网络。这一设计深受OpenAIFive和AlphaStar架构的影响。值得注意的是，鉴于其原始架构的复杂性和深度，复制或改编它们的模型远非易事。
此外，还借鉴了AlphaStar的做法，采用变换器模型对实体类型的观测结果进行编码。然后，通过最大池化操作对这些实体编码进行聚合，再与标量编码器的输出进行连接。如图3所示，这些合并数据被输入一个LSTM网络。网络的值函数由处理LSTM输出的简单MLP决定。
动作头的结构更为复杂，由两个主要部分组成：动作类型头和动作参数头。如图4所示，行动选择模块的这一设计试图在复杂性和功能性之间取得平衡，详见第五节B部分。架构的关键修改之一是其管理CMO多单元控制动态的能力。传统RTS游戏的重点可能是单个单元或较小的群组控制，而CMO则不同，它需要同时协调一方的多个单元，从而将问题提升为MARL挑战。网络的设计方式是通过变压器来处理单元数量的变化。变压器允许网络根据环境中每个单元的情况需求动态调整其重点和资源分配。
PPO智能体涉及的另一个方面是CMO固有的多行动选择功能。在CMO中，当游戏暂停时，玩家可以为每个单元分配一组动作；例如，导航到指定位置、调整单元速度、向特定目标发射武器、激活雷达、关闭声纳。一旦恢复模拟，这些操作将同时执行。这种多行动选择机制与传统的RTS环境不同，传统的RTS环境中的行动通常是顺序执行或有并行执行限制。我们设计的智能体可以让单元同时执行多个动作。为此，我们设计了智能体，使每个单元都能同时输出多个动作。
这种架构不仅能满足当前CMO游戏的要求，还提供了一个可扩展的框架，能够适应更复杂的场景和未来的扩展。
俄罗斯利用包括弹道导弹和巡航导弹在内的大量前苏联和后苏联武器对乌克兰发起全面战略行动后，乌克兰以网络中心战为基础的防御初步取得了成功。乌克兰使用无人机进行侦察、目标捕捉和打击，并采用高效的指挥与控制，将标枪、NLAW和毒刺等西方智能武器与强大的苏联武器库（包括防空、航空、火炮、坦克和装甲车辆）结合起来，再加上新建立的广泛的国土防御，形成了一个非常有效的组合。乌克兰这一战略的实施使俄军大为被动，促使他们从乌克兰北部撤退到白俄罗斯。俄军全面行动初期的失败迫使俄军指挥官将其作战理念从闪电战转变为消耗战。
乌克兰的核心理念是采取非对称方式对抗强大的俄罗斯陆军，因为他们认识到，乌克兰武装部队（UAF）在与俄罗斯武装部队的强大力量进行对称作战时几乎没有机会。因此，乌克兰武装部队选择构建以网络为中心的战争模式，借鉴苏联武器装备，但在各级整合新的指挥和控制系统。这包括广泛使用无人机进行侦察、攻击和执行神风特攻队任务。从本质上讲，新模式旨在通过将无人机和智能武器与指挥、控制、通信、计算机、网络防御、作战系统、情报、监视和侦察系统无缝结合，实现后苏联陆军的现代化。这样做的目的是在UAF内部创造一种不对称的潜力，使他们能够有效地对抗俄罗斯陆军的压倒性力量。
随着无人驾驶航空系统的广泛部署，网络中心战概念作为一个基础要素融入了联合空军的当代条令中，并得到了实质性的加强。其中包括专为陆地和海上作战设计的自主、无人和机器人系统。从本质上讲，无人机已成为乌克兰空军作战条令的重要组成部分，体现了无人机中心战的精髓。
乌克兰空军利用无人机的能力执行各种任务，包括侦察、目标捕获、单元和单个作战组件的协调以及执行打击功能。虽然这些功能在大多数先进的武装部队中司空见惯，但UAF的与众不同之处在于最近将无人机提升到了作战的核心地位。在整个战场上部署大量无人机，可将战场信息无缝整合到一个统一的矩阵中，从而具备消灭敌人的能力。这是实时发生的，标志着现代战争动态的变革性转变。
自2014年俄罗斯占领和吞并克里米亚并进攻顿巴斯以来，乌克兰武装部队在无人系统开发方面取得了突破性进展。在2014年俄罗斯发动进攻时，乌克兰陆军的库存中几乎没有无人机，只有过时的苏联侦察无人机，这些无人机已不再适用。与俄罗斯爆发武装冲突后，乌克兰制造商积极参与了武装部队无人机队的开发。大多数投入生产并交付部队的成功项目都是由私营公司实施的。然而，这一进程相当缓慢，官僚主义的国防采购系统不允许进行足够的投资来扩大无人机生产项目的规模。
例如，2014年由位于基辅的AthlonAvia公司开发的乌克兰无人空中侦察系统“Furia”立即被乌克兰武装部队、乌克兰国民警卫队和乌克兰安全局用于战场。然而，直到2019-2020年，“Furia”才通过了一轮完整的国家测试，并被乌克兰武装部队正式采用。乌克兰其他无人机的情况也类似。例如，Ukrspecsystems公司生产的PD-1型无人机自2014年起就参加了前线作战行动，但在2018年才获得正式许可。CulverAviation公司的Skif无人机于2016年研制成功，并于2021年投入量产。Leleka-100无人机于2017年研制成功，并在前线积极使用。然而，Leleka-100到2021年才被武装部队正式采用。这些例子反映了一个总体趋势，即从2014年到2020年，尽管与俄罗斯的武装冲突仍在持续，但乌克兰开发和生产军用无人机的进程并未达到所需的速度和范围。无人机在乌克兰空军中的使用也比计划、概念和条令更零星。
图：A1-SMFuria无人机
乌克兰于2018年购买了数架土耳其BayraktarTB2型中空长航时无人战斗机，这是乌克兰认识到建立一支强大的军用无人机机队重要性的重要一步。采购Bayraktar无人机反映了乌克兰武装部队领导层认识到在其侦察和打击能力（包括侦察、指挥所和武器装备）中建立无人机元素的必要性。这一举动标志着向接受网络中心战概念的转变。乌克兰空军在2021年春季将首批Bayraktar无人机投入现役。与俄罗斯军队的首次交战发生在2021年10月26日。Bayraktar无人机对违反明斯克协议、炮击乌克兰Hranitne村的俄罗斯火炮系统进行了打击，这可以说是乌克兰空军使用无人机的转折点。
图：乌克兰武装部队的BayraktarТВ2无人机
乌克兰武装部队的条令重点是无人机和以网络为中心的战争，这就需要集成系统作为一个框架，确保迅速的控制循环。这些周期包括确定敌方目标坐标、向指挥所传送目标信息，以及将这些信息转发给摧毁手段。乌克兰武装部队采用了各种系统来实现这一目标，其中一个显著的例子是Kropyva战术指挥和控制系统。
2014年，来自ArmySOS的一个小组开始向军方提供平板电脑，Kropyva系统作为一项志愿者倡议开始启动并投入使用。自俄罗斯发动侵略以来，已安装了10000多套Kropyva应用程序。此外，还建立了技术支持服务，以不断改进软件产品。2018年，Logika设计局的开发人员向武装部队慷慨捐赠了Kropyva及其源代码和许可证。该系统有助于营、连、排和单车等不同级别的各种指挥和控制任务的自动化。从根本上说，它有助于将侦察、控制和火力整合为一个统一的信息领域。
图：Kropyva战术指挥与控制系统
三角洲（Delta）系统实际上是一种基于军事云的在线服务，其运行原理与此类似。2015年，Aerozvidka志愿团队开始开发Delta态势感知系统。一年后，该系统被移交给乌克兰空军，并在那里成立了自动化作战（战斗）控制系统实施与支持中心。德尔塔"是一个在线系统，提供有关战场战术和作战情况的实时信息。借助Delta系统，士兵可以在线查看战场情况和敌军位置。来自空中侦察、卫星、无人机、固定摄像机、雷达、聊天工具等的数据都会被调入该平台。Delta目前是武装部队军事行动计划的重要组成部分。
图：三角洲系统网站
与此同时，乌克兰武装部队正在考虑进一步调整组织结构，以适应以无人机为中心的条令。截至2023年，乌克兰武装部队在武装部队历史上首次创建了特种无人机攻击连，作为战斗旅的一部分和单独的战斗群，使其单元总数达到60个。这样就可以根据网络中心战条令，使用各种类型的无人机摧毁敌方目标。无人机攻击连的建立是联合空军组织和条令原则现代化的开端，是其适应战场新技术现实的一部分。据认为，除了旅一级的无人机攻击连外，在营和连一级建立单独的攻击（主要是FPV）无人机单元也是权宜之计。另一种可能的选择是在每个旅建立无人机营，进一步分配其功能，以支持旅的单元。
图：Brave1系统网站
下面来谈谈已成为UAF无人机活动推动力的项目。首先，这是无人机陆军项目，是全国众筹活动United24的一部分。作为“无人机陆军”项目的一部分，已经购买了数千架无人机，并训练了1万多名无人机操作员。
同时，作为United24运动的一部分，还启动了海上无人机的创建进程，后来成为国家层面发展海上平台的一个独立领域。此外，还宣布启动“机器人陆军”项目，该项目将开发符合联合空军利益的最新机器人系统。此外，电子战系统陆军的成立也开始推动电子战系统的大规模生产。正如数字化转型部长米哈伊洛-费多罗夫所说："接下来的任务是将无人机的经验推广到其他军事创新领域。启动电子战系统陆军和机器人陆军。我们的团队随时准备与任何能在技术上帮助加强前线的人合作"。费多罗夫称，乌克兰政府将在这些项目中依靠明确的意识形态：市场开放、透明和最大限度地吸引已经创造出各种产品并能够扩大产品规模的企业家。
图：费多罗夫部长与无人机陆军的无人机
乌克兰雄心勃勃地计划在2024年进一步提高无人机的产量。乌克兰2024年国家预算为无人机（航空和航海系统）拨款11亿欧元。战略工业部部长OleksandrKamyshyn表示，乌克兰为2024年制定了雄心勃勃的生产目标，计划生产100万架FPV无人机、1万多架中程攻击无人机和1000多架射程约1000公里的无人机。部长确认，实现这些目标所需的所有生产能力都已到位。
值得注意的是，将无人机用于军事目的的最新趋势是利用人工智能技术。人工智能可以自动检测和分类战场上的目标，并为操作员/指挥官提供战胜敌人的现成决策。此外，人工智能还能通过“开火即忘”的方法确保无人机到达目标。从根本上说，在软件层面实施的人工智能可以将廉价的攻击无人机转变为高精度的先进武器。
人工智能可以进一步缩短发现敌方目标、确定其坐标、将坐标信息传送给指挥官、做出摧毁敌人的决定并将这一决定传送给摧毁手段的控制周期，从而成为改进网络中心战概念的下一步。在现代战争背景下，应尽可能缩短这些周期。在使用无人机时使用人工智能可以大大加快管理周期，确保提高武装部队作为综合侦察和打击联合体的使用效率。乌克兰武装部队已经采用了第一架由人工智能驱动的无人机，名为“SakerScout”。这种无人机能独立识别和记录敌方车辆（即使是伪装车辆）的坐标，并立即将信息传送到指挥所供决策之用。
图：人工智能无人机SakerScout无人机
此外，人工智能的集成还可以实现无人机群的部署。在这种情况下，每架无人机都将具备自主分类、捕获和消灭指定目标的能力。考虑到军事技术的飞速发展，人工智能有可能在不久的将来给战场带来革命性的转变。
在海上无人机领域，乌克兰取得的技术突破给俄罗斯黑海舰队带来了意想不到的局面。由于乌克兰实际上失去了传统海军，俄罗斯黑海舰队不得不转移到黑海东部地区，不敢靠近西部地区，因为乌克兰使用海上无人机的威胁很大。乌克兰已制造出多种类型的海上无人机，最初由志愿者资金资助，后来由国防部和其他安全机构及情报部门的预算资助。目前，乌克兰国防部正在使用几种海上无人机，包括水面和水下无人机。这些无人机的性能在不断改进，效能也在不断提高，对俄罗斯黑海舰队、基地和基础设施（如刻赤大桥）造成了破坏。乌克兰无人机MaguraV5是乌克兰国防情报局的主要海军无人平台，11月10日在克里米亚Chornomorske村击沉了两艘登陆艇，当时其中一艘正在装载BTR-82，促使俄罗斯决定将黑海舰队调往新罗西斯克。
图：MaguraV5海军无人机
2023年7月17日，乌克兰安全局研制的“海洋宝贝”无人机炸毁了克里米亚大桥。科扎克-马迈"无人机是乌克兰安全局的新研发成果。8月5日，它击中了黑海舰队的OlenegorskyGornyak号大型登陆舰和SIG号军用油轮，表明乌克兰可以到达新罗西斯克。
图：KozakMamai海洋无人机
2023年，乌克兰首架水下海事无人机Marichka问世。该无人机专门针对船只、桥梁、海岸防御工事和潜艇而设计。如有需要，该无人机可改装为运载军用或民用货物，以代替炸药，还可发挥侦察作用。开始大规模生产水下无人机有可能极大地改变黑海的态势。俄罗斯黑海舰队可能在探测和反击这些水下无人机方面面临挑战，从而对俄罗斯战舰构成巨大威胁。
图：Marichka海洋无人机
此外，还研制了先进的托洛卡水下无人机，并进行了各种改装。其中，TLK1000的射程为2000公里，可携带多达5000公斤的炸药。制导系统包括被动声纳--利用水听器系统识别水下和水面物体并确定方向。还包括超声波声纳（主动声纳），用于近距离探测、跟踪和按大小识别物体。
重要的是，在组织和理论变革方面，乌克兰海军成立了海军无人机大队，这是第一支装备海军无人机的本级海军作战单元。不过，这些舰载无人机不仅由乌克兰海军使用，还由乌克兰国家安全局和乌克兰国防情报局在行动层面密切协调使用。
自2010-2012年以来，俄罗斯积极加强武装部队的无人机能力，与此同时，俄罗斯陆军也进行了全面改革。俄罗斯国防工业寻求以色列的技术，获得了生产IAI“搜索者”无人机（由乌拉尔民用航空厂生产，名为“Forpost”）和“鸟眼-400”（在俄罗斯称为“Zastava”）的许可证。此外，从2010年到2022年，俄罗斯执行了多个项目，Orlan-10进入生产阶段，并成为俄罗斯武装部队炮兵单元的主要无人机。
2022年2月24日之前获得的信息表明，Orlan-10的很大一部分部件来自其他国家，包括美国、瑞士、日本等。在俄罗斯开始对乌克兰行动之后，据透露，奥兰-10的热像仪矩阵是在法国制造的。
图：俄罗斯武装部队的Orlan-10无人机
2022年2月前夕，即在大规模侵略开始之前，俄罗斯武装部队的无人驾驶飞行器已建立了完善的结构。俄罗斯武装部队的旅和师以及一些侦察旅已经有了无人驾驶飞行器连队。这些连队由Orlan-10系统（高度达5000米，半径达110公里）和短程Granat-2（高度达600米，半径达15公里）、Eleron（高度达3000米，半径达25公里）和Takhion（高度达4000米，半径达40公里）组成。联合兵种旅的无人机连通常由两个排组成--中程排配备Orlan-10和Granat-4系统（高度可达2000米，半径可达100公里），短程排配备Granat-1/2/3和Zastava（高度可达2200米，半径可达10公里）、Takhion、Eleron和其他系统。空降师和空降旅以及海军陆战旅和海军陆战团的无人机连也是这样组建的。
炮兵旅、工兵旅、导弹旅甚至铁道旅也有无人机单元。这些部队大多是独立的短程无人机排。除了拥有奥尔兰-10无人机的排，炮兵旅还有奥尔兰-30无人机（由旅指挥，用于引导克拉斯诺波尔精确制导导弹）和以奥尔兰-10为基础的炮兵侦察无人机排（在炮兵侦察单元）。航空航天部队已建立了几个“前哨”无人机中队以及“奥尔兰-10”无人机中队。2023年，俄罗斯武装部队开始积极使用SuperCamS350型无人侦察机。
2021年，俄罗斯扎拉集团公司（卡拉什尼科夫公司的子公司，而卡拉什尼科夫公司又隶属于俄罗斯技术公司）开始生产Kub-BLA和Lancet巡飞弹药。2022年，在对乌克兰的大规模侵略开始后，俄罗斯武装部队采用了这些无人攻击机。随后，它们开始在战场上发挥重要作用，对战场上的乌克兰军队构成重大威胁（经常与SuperCamS350型侦察无人机协同瞄准目标）。最近有报道称，扎拉集团即将在2023年底前利用人工智能制造出改进版的“柳叶刀”。人工智能将允许使用所谓的柳叶刀蜂群，它们将独立识别战场上的目标并将其摧毁。
图：俄罗斯武装部队的柳叶刀巡飞弹药
此外，俄罗斯Aeroscan公司（隶属于ZALA集团）于2023年9月宣布研制一种名为“Italmas”的新型攻击无人机。据报道，“意大利马斯”比“柳叶刀”具有更好的特性，包括弹头更大，射程可达200公里。根据现有数据，“Italmas”与伊朗的“Shahed”136无人机具有相似的品质，特别是在外观和发射方法方面。另据报道，这种无人机配备了光电瞄准装置，可大大提高摧毁目标的精确度。
图：Italmas，巡飞弹药，来自Aeroscan演示的源视频
沃斯托克设计局还生产了另一种改进型“柳叶刀”无人机，名为“手术刀”。据称，“手术刀”的有效载荷可达5千克。无人机本身的最大起飞重量可达10.5千克，速度可达120千米，飞行距离可达40千米。制造商声称，“手术刀”比“柳叶刀”便宜，这显然是因为最大限度地使用了不受制裁限制的外国民用部件。
图：手术刀游荡弹药，沃斯托克设计局设计
同样，据俄罗斯报道，俄罗斯改进了另一种攻击型无人机“库勃-BLA”。卡拉什尼科夫公司总裁艾伦-卢什尼科夫（AlanLushnikov）2023年12月25日告诉俄罗斯-24频道，俄罗斯武装部队已经接收了改进型Kub-BLA游荡弹药，该弹药配备了威力更大的弹头。目前尚不清楚卡拉什尼科夫公司是如何改变弹头以提高其杀伤力的，但该弹头在乌克兰的使用视频显示，除非在非常近的距离引爆，否则有时无法对目标造成伤害。
与此同时，俄罗斯武装部队使用最广泛的无人机是伊朗制造的Shahed-136/131游荡弹药。根据乌克兰空军的一份报告，自2022年2月24日以来，俄罗斯对乌克兰使用了3940架Shahed-136/131攻击无人机，其中3095架Shahed无人机被摧毁。这说明了俄罗斯为打击乌克兰而生产和购买伊朗无人机的程度。从根本上说，俄罗斯选择向伊朗工业投资数十亿美元，而不是建立自己的远程打击无人机的大规模生产。伊朗向俄罗斯武装部队提供了大量直接、经济但危险的攻击无人机，这些无人机不断压垮乌克兰的防空系统。
图：泽连斯基总统和被击落的沙希德在基辅
此外，俄罗斯已开始努力在俄罗斯鞑靼斯坦本土化生产沙赫特-136（被称为“格兰-2”）。2023年12月，一架被俄罗斯正式命名为“格兰-K”的“沙赫特-136”在乌克兰被击落。格兰-K由俄罗斯生产，与伊朗的同类产品不同之处在于其弹头为非标准弹头，重40千克，配有高爆破片装置。除“格兰-K”无人机外，俄罗斯还使用了另外两种型号的“沙赫特”无人机：一种是伊朗制造的原型无人机，配有伊朗制造的48.5千克重的弹头，名为“格兰-M”；另一种是“格兰-Ы”无人机，配有伊朗制造的弹头，但导航系统是俄罗斯制造的。还有消息称，伊朗正在研制一种装有喷气发动机的“沙赫德”变型无人机，这有可能大大提高这些无人机的速度，尽管其代价是减少航程。
图：装有喷气发动机的沙赫德（J238）
2023年6月，俄罗斯政府公布了《2030年前无人航空发展战略》。根据该文件，无人机产业发展的基线设想是，到2026年，研发人员达到33万，无人机生产和运营人员达到100万，到2030年和2035年达到150万。俄罗斯生产的无人机数量计划在2023-2026年达到5.21万架（平均年产量超过1.3万架），2027-2030年达到10.55万架（平均年产量超过2.6万架），2031-2035年达到17.77万架（平均年产量超过3.55万架）。渐进方案的数字甚至更高：2026年有45万名员工，2023-2026年生产了5.54万架无人机；2030年有110万名员工，2027-2030年生产了11.68万架无人机；2035年有160万名员工，2031-2035年生产了近20万架无人机。
这些数字很可能只是近似值，重要的是要考虑到对俄追加制裁的潜在影响。尽管如此，俄罗斯政府显然准备为无人机行业注入更多资金，公共和私营实体将越来越多地参与无人机的研究、开发和生产。预计这将导致无人机项目数量和实际无人机在前线部署数量的增加。遗憾的是，由于灰色进口的盛行，这些公司仍将依赖进口部件和工业设备。同时，俄罗斯从国际石油和天然气销售中获得的丰厚利润预计将为这些举措提供充足的资金。
俄罗斯已经开始生产为FPV无人机和空投而设计的弹药。此外，前线已开始出现配备热成像仪的侦察和攻击无人机，它们能够在夜间行动，从而对乌克兰军队构成更加可怕的威胁。根据最新数据，2023年，俄罗斯国防部训练了约3500名FPV无人机操作员。此外，俄罗斯国防部还为约1700名专家提供了操作其他类型无人机的训练。这凸显了俄罗斯将大量资源投入到战斗无人系统的生产和研发中，表明该领域未来将在战场上发挥举足轻重的作用。
俄罗斯还在采取措施发展舰载无人机。2023年2月11日，关于乌克兰武装部队总司令瓦列里-扎卢日尼与美国参谋长联席会议主席马克-米利将军之间谈话的报道称，扎卢日尼将军“......同样对俄罗斯使用海上水面无人机表示担忧，因为这对黑海的民用航行构成了威胁”。当时，公开资料中没有关于俄罗斯大规模生产海上无人机的信息。因此，可以推测扎卢日尼将军提到的无人机要么是单个原型机，要么可能是俄罗斯从其“盟友”伊朗那里获得的。此外，众所周知，德黑兰已经为其卫星--也门胡塞武装--提供了自杀式艇，用于摧毁水面目标。2022年9月，OSINT分析家HISutton在其博客中描述了这些船只的一些特点。
在2023年8月举行的“陆军-2023”展览期间，俄罗斯金吉塞普机械制造厂展示了自己的遥控艇GRK-700Vizir。
图：俄罗斯导航无人机GRK-700Vizyr
2023年12月，俄罗斯媒体发布了有关俄罗斯新型海上无人机的信息，这种无人机也是由金吉塞普机械制造厂生产的，名为“奥杜万奇克”（Oduvanchik）。俄罗斯方面称其为“快速移动无人运载艇”。据称，“奥杜万奇克”的航程可达200公里，最高时速可达80公里，有效载荷可达600公斤，弹头装有TNT炸药或其他“特殊货物”。“奥杜万奇克"可能是俄罗斯国防部向金吉塞普机械制造厂订购的一整套类似海上无人机的第一个版本。俄罗斯工程师有可能试图研究乌克兰生产舰载无人机的经验，并选择复制乌克兰的研发成果。无论如何，“奥杜万奇克”看起来与乌克兰设计的海上无人机很相似。
图：俄罗斯“奥杜万奇克”无人机
根据最近的报道，金吉赛普机械制造（KingiseppMachine-Building）厂将于2024年初在黑海测试第一批海上无人机。随后，该厂将为俄罗斯武装部队批量生产无人机。可以推测，2024年下半年，俄罗斯海上无人机将开始在黑海战场发挥重要作用。除其他外，它们还能影响乌克兰海港贸易走廊的运作，以及罗马尼亚近海能源项目的实施。
俄罗斯两年来对乌克兰的大规模侵略表明，无人系统和自主系统对作战性质、行动、武装部队条令和组织结构产生了非同寻常的影响。反过来，设想整合情报、指挥和控制系统以及武器的“网络中心战”条令学说已成为一个理想的框架，在这个框架中，无人系统的技术突破已成为提高以网络为中心的武装力量运用模式有效性的自然刺激因素。
乌克兰武装部队利用无人驾驶航空系统的优势开展各种行动，包括侦察、目标识别、单元和作战单元协调以及执行精确打击任务。在整个战场上战略性地部署大量无人机系统，使其成为一个不可或缺的组成部分，将战场情报无缝地吸收到一个统一的矩阵中。该矩阵拥有前所未有的能力，可迅速、果断地消灭敌对分子。重要的是，这一过程是实时展开的，预示着当代战争动态的革命性转变。
乌克兰生产和武装部队使用的无人机数量正呈指数级增长。从2022年初服役的几十个系统到2023年底，乌克兰武装部队使用了70种不同类型的无人机系统和20多种用于攻击无人机的弹药。乌克兰约有200家制造无人机的公司，每月生产约50000套无人机系统。2024年的计划更加雄心勃勃：将FPV无人机的产量提高到每年100万单元，中程攻击无人机提高到每年1万单元，远程攻击无人机提高到每年1000单元。这一数字应能确保与俄罗斯的不对称均势，俄罗斯也在努力最大限度地提高无人机产量。
在UAF矩阵中采用以无人机为中心的方法，就必须在理论和组织上进行调整，并转变无人机的使用结构。这种演变需要从经常混乱的、自下而上的举措转变为建立一个垂直整合的指挥系统，拥有自己的条令、组织框架和标准化协议。2023年，乌克兰武装部队成立了无人机攻击连，并将其纳入旅级结构。此外，乌克兰武装部队总参谋部下设的无人系统中央局也取得了重大进展。该机构的任务是制定和推进武装部队内无人机的管理条令和组织结构。此外，它还负责确定武装部队的要求和与无人机部署有关的复杂问题。
人工智能（AI）的融入标志着无人机在军事行动中的发展前景广阔。人工智能有能力自主识别战场上的目标并对其进行分类，为操作人员提供预先配置的摧毁敌人的解决方案。它的应用不仅提高了无人机的整体使用效率，还大大缩短了从发现目标到摧毁目标的管理周期。此外，早在2024年，无人机群的使用就有可能对战场动态产生重大影响。这标志着格局的转变，协调一致的无人机群可能会重塑战场格局，为战略考量引入新的维度。
海军无人机的诞生和部署是乌克兰武装部队在当代战争中取得的突破性进展。在海军无人机的推动下，技术实力和理论创新的融合使乌克兰有能力在黑海实现战略突破。尽管乌克兰在黑海没有常规海军舰队，但它成功地迫使俄罗斯黑海舰队撤退到黑海东部。这一成就还确保建立了一条重要的海上贸易走廊，将乌克兰港口与博斯普鲁斯海峡连接起来。2024年，海上无人机的发展轨迹仍将继续，重点是增强其作战能力。海上无人机技术的不断发展有可能进一步削弱俄罗斯黑海舰队的活动，特别是随着水下无人机有望融入战区。
迄今为止，俄罗斯还未能显著改变陆军无人机生产的模式和方法。俄罗斯的努力主要是改进和扩大现有项目（奥兰-10、“柳叶刀”、Kub-BLA），同时引进包括人工智能在内的先进技术。与此同时，俄罗斯还设法吸引了大量国家资金，并在特勤部门建立了一个规避制裁的系统，以获得稀缺部件，包括来自西方制造商的部件。另一个令人担忧的因素是俄罗斯在制造FPV无人机方面的熟练程度，这种能力有可能超过乌克兰，从而对乌克兰武装部队构成重大威胁。
此外，伊朗“沙赫德”神风无人机的进一步扩大和改进对乌克兰防空部队保护平民和民用基础设施以及军事和国防工业设施构成了战略挑战。尽管受到制裁，伊朗仍计划在2024年生产6000架“沙赫德”，这可能对乌克兰构成重大威胁。未来，俄罗斯的这些能力可能会直接威胁到北约国家。因此，加强对向俄罗斯供应用于生产无人机的微电子和其他高科技部件的制裁限制应成为欧盟和北约的战略问题。
近年来，AI在语言能力方面取得了惊人的进展。在深度学习快速发展的推动下，语言AI系统的文本生成与理解能力达到了前所未有的高度。这一趋势催生了新的功能、产品，甚至整个行业的兴起。通过本书，Python开发者将学习到如何利用这些强大功能的实用工具和概念。您将学习如何利用预训练大型语言模型的强大功能，应用于诸如文案撰写和摘要生成等场景；创建超越关键词匹配的语义搜索系统；构建能够分类和聚类文本的系统，以实现对大量文档的可扩展理解；并使用现有的库和预训练模型进行文本分类、搜索和聚类。本书还将向您展示如何：*构建高级LLM（大型语言模型）管道，以聚类文本文档并探索其所属主题*构建语义搜索引擎，通过密集检索（denseretrieval）和重排序（reranking）等方法超越关键词搜索*探索这些模型在多种应用场景中的实际价值*理解如BERT和GPT等Transformer模型的底层架构*深入了解大型语言模型（LLM）是如何训练的*理解不同的微调方法如何针对特定应用优化LLM（生成模型微调、对比微调、上下文学习等）
现代大规模作战行动（LSCO）的特点是越来越频繁和多样化地使用集成到指挥、控制、计算机、通信、情报、监视和侦察（C4IRS）系统中的无人驾驶飞行器（UAV）。这些飞行器是现代LSCO中最重要的武器类型之一。任何人只要掌握了可以处理来自战场的最新信息并将这些信息安全地传递到指挥中心的技术，就拥有了巨大的优势，就有机会对那些以阻止进一步作战工作为目标的单元造成巨大的破坏。重要的是，无人机必须通过选址行动、侦察和撤退路线进行一定程度的自我保护。本文介绍了在整编部队指挥所中使用无人机执行各种任务的可能性，以及在以往现代武装冲突中使用无人机的案例研究。
科学技术的迅猛发展，特别是第四次工业革命取得的重大成就，给社会生活领域带来了许多变化。在国防和安全领域尤其可以凸显出来，作战活动有了显著改善，科技成果的应用大大提高了单元的效率。现代作战行动需要使用最先进的作战资产来高效执行指定任务。无人驾驶飞行器的使用是现代作战行动不可或缺的一部分。由于其用途广泛，结构和作战特点各不相同，为装备这类作战装备的单元提供了广泛的可能性。通过使用集成到C5ISR系统中的无人驾驶飞行器，可以实时了解战场情况并提供网络保护，这为决策者在作战行动中及时有效地指挥部队提供了可能。C5ISR是指挥、控制、计算机、通信、网络、情报、监视和侦察的缩写，是C4ISR的升级系统，不包含网络元素（图1）。在现代作战行动中，使用了各种类型的无人机，从商用无人机到向指挥中心传输数据的武装作战无人机。无人飞行器在现代作战行动中的使用越来越多，特别是用于侦察、监视和瞄准地面目标。无人驾驶飞行器要想在战斗中发挥有效作用并满足现代战争的要求，必须具备某些特征。
现代军队越来越依赖信息技术来支持任务规划和执行。随着对多域作战（MDO）研究的不断深入，预计常规任务行动将涉及网络和物理资产之间的大量互动。在未来战场上，这些网络与物理的交互作用预计将由作战环境的特征以及用于完成C5ISR（指挥、控制、计算机、通信、网络、情报、监视和侦察）任务的工具和技术所引入。美国陆军C5ISR中心网络安全服务提供商（CSSP）是一个全天候防御性网络行动（DCO）组织，负责保护美国国防部和美国陆军网络免受敌对网络活动的攻击，并开发技术和能力供国防部内的DCO操作人员使用。
近年来，C5ISRCenterCSSP一直在研究各种先进的数据可视化概念和策略，以提高网络安全分析人员工作流程的速度和效率。为了实现这些目标，我们采用了虚拟和混合现实（VR/MR）工具来研究这些媒介是否能使DCO操作员进行有用的远程协作，以及立体可感知的3D数据可视化是否能使DCO操作员对其数据集获得更好的后见之明。使用联合服务C5I-ISR和C2（指挥与控制）集成，实现新的全域作战联合作战概念。
要在传统战争领域取得成功，就必须了解信息环境，包括频谱、空间、网络领域以及它们之间流动的数据。信息时代的战争就是根据精确的数据做出决策并取得成功。快速分析环境和对手以做出更快决策的能力是成功的关键。有效沟通的能力是任何现代军事行动取得成功的关键。
这适用于每一个军种、任务和训练项目。现在，战斗力与有效的情报收集和传播在整个国防范围内同时使用，以决定任何冲突的结果。C5ISR技术有助于识别和应对各种事件。由人工智能和云技术驱动的现代C5ISR系统有助于为前线人员提供关键数据。
武装部队希望在复杂、有争议和密集的城市环境中，以及在没有内置平民人口和基础设施的开放环境冲突中，能够在决策方面优于对手。因此，C5ISR系统拥有各种工具，可提供必要的信息，以便在空中、陆地、海上和网络空间的复杂作战场景中开展指挥和控制行动。
图4：不同环境下的C5ISR，包括海、空、陆、赛博
图5：各种作战场景中的C5ISR接口示例
C5ISR可在战场上提供各种能力，对当前行动的结果产生积极影响。
表4：C5ISR系统支持作战行动的能力
Svendsen在他的章节中提到了更广泛的目标获取和指挥、控制、通信和计算机以及网络方面的考虑--将其对ISR的评估扩展到了ISTAR和C4ISR企业。ISR的领域在不断扩大和延伸，特别是在结构和文化上都出现了更大的创新运动，从单纯的TPED（任务分配、处理、利用和传播）活动转向更多的以计算机速度实时执行的“高科技情报企业”。
由于现在的技术飞跃越来越多地以商业市场的需求为基础，军事系统发现自己处于两种截然不同的技术适应速度中。然而，军事技术需要高性能的系统，因此必须将最新的高端技术集成到用于军事目的的技术和系统中。然而，开发、实施和维护这类系统的成本很高，但现代世界的军事行动却越来越广泛。这就需要一种防御能力更强的更现代化的通信系统，而ISR系统很容易提供这种能力。有鉴于此，设计、开发和实施ISR系统的初始成本较高，很可能会影响这些技术的进步和发展。因此，目前正在利用最先进的人工智能（AI）和云技术，专门开发符合上述条件的新一代C5ISR系统。先进的人工智能可以无休止地过滤海量数据，发现人类操作员可能忽略的趋势。
图6：C5ISR无人机向地面单元提供实时反馈
C5ISR系统集成了众多无人驾驶飞行器，从第一组的小型战术无人驾驶飞行器到第五组的大型无人驾驶飞行器，这取决于系统本身、目的和执行的作战任务类型。不过，大多数无人机的飞行速度相对较低，但C5ISR系统要求无人机长期运行，这样可以提高效率，加强对战场的控制，使系统有能力以最高水平完成所有任务。因此，必须根据系统和执行的任务，精心选择无人驾驶飞行器的技术和战术特点。
与C5ISR系统集成的无人飞行器使用推进器，有多种配置选项，包括集成武器和空对地导弹，用于火力支援或摧毁关键通信。此外，它们还必须支持EO/IR摄像机、合成孔径雷达设备等，以便成功侦察和监测作战行动过程，并收集必要信息，使C5ISR系统能够最有效地运作。虽然C5ISR系统依赖于卫星通信系统和卫星支持以及通信支持，但大多数纳入C5ISR系统的无人驾驶飞行器都配有通信中继包，以方便在为支持C5ISR系统而开展作战行动的战场上进行控制和通信。
小型语言模型（SLMs）因其高效性和在执行各种语言任务时所需的计算资源较少，变得越来越重要，使它们非常适合于包括设备端、移动设备、边缘设备等多种场景。在本文中，我们对小型语言模型进行了全面的综述，重点介绍了它们的架构、训练技术和模型压缩技术。
我们提出了一种新的分类法，用于归类优化SLMs的方法，包括模型压缩、剪枝和量化技术。我们总结了适用于小型语言模型基准测试的标准数据集，以及常用的评估指标。此外，我们还强调了尚待解决的关键开放性挑战。
本综述旨在为有兴趣开发和部署小型高效语言模型的研究人员和从业者提供宝贵的资源。
尽管大型语言模型（LLMs）在广泛的基准测试和现实场景中展示了出色的性能，它们的成功却伴随着显著的成本。LLMs的训练和运行资源密集，需耗费大量计算和数据资源。这通常意味着它们的训练和推理都需要在集中化和专业化的硬件上进行。
在本综述中，我们将探讨支持构建和推理小型语言模型的架构、训练和模型压缩技术。此外，我们还总结了用于评估小型语言模型性能的基准数据集和常用的评估指标。为此，我们提出了一个新的分类法，用于沿着两条主轴组织这些方法：
表1（技术）和表2（约束条件）展示了这些主轴的概览。
需要注意的是，在任何一个目标上的进展不一定意味着在其他目标上也有进展。事实上，往往存在权衡。例如，量化感知训练等内存高效的训练方法（Dettmers等人，2022a，2024）通常比全精度方法更慢。然而，通过使用混合精度表示权重和梯度，它们允许使用更少的内存来进行训练或微调。最后，虽然最近已经有几篇关于大型语言模型及其学习方法的综述（Rogers等，2020；Min等，2021；Zhu等，2023；Shen等，2023），但据我们所知，这是首篇专注于小型语言模型的综述。
本文的主要贡献如下：
本节讨论了开发小型语言模型（SLMs）的架构设计。具体而言，我们涵盖了轻量化架构（第2.1节）、高效自注意力近似（第2.2节）以及神经架构搜索（第2.3节）。
本节讨论了用于发现最适合特定任务和硬件约束的高效模型架构的自动化方法。先前的研究主要集中在用于视觉任务的神经架构搜索（NAS）（Tan和Le，2019；Zoph和Le，2016；Wu等人，2019；Guo等人，2020）和BERT模型（Xu等人，2021；Jawahar等人，2023；Ganesan等人，2021），这些模型的参数相对较少，减少了高效架构搜索过程的成本。然而，具有超过十亿参数的大型语言模型在寻找更小、更高效的模型时面临着显著挑战。其庞大的规模使搜索过程计算密集且昂贵。最近，MobileLLM（Liu等人，2024e）研究了模型深度（即层数）和宽度（即头数）对性能的影响，有效地在数百万参数范围内进行了针对性架构搜索。与此同时，Shen等人（2024c）通过探索合适的初始化来减少搜索空间，从而加快了搜索过程的收敛。
近年来，大型多模态模型（LMMs）在显著减少参数量的同时，达到了与前代模型相当甚至更优的性能。值得注意的例子包括LLaVA-Next（Liu等人，2024a）、Idefics2（Laurenon等人，2024）和InternVL2（Chen等人，2023）系列。这一进展部分归功于更多高效的小型语言模型，如Gemma（Team等人，2024）和phi-3-mini（Abdin等人，2024），并强调了精心策划的数据集的重要性。
此外，人们还努力在多模态融合过程中缩减视觉编码器的规模。例如，InternVL2利用大规模视觉编码器的中间层输出，同时丢弃后续模块。更小的模型，如PaliGemma（Beyer等人，2024）和Mini-Gemini（Li等人，2024c），采用了轻量级的视觉编码器。单体多模态模型进一步推进了这一点，完全消除了视觉编码器，转而使用轻量级架构生成视觉token。例如，Chameleon（Team，2024a）采用VQ-VAE模型将图像编码并解码为离散token，而Mono-InternVL（Luo等人，2024a）则使用MLP生成图像块的视觉token，结合了一种名为多模态专家混合的特定模态前馈网络，以区分不同的模态。
本节回顾了用于语言模型预训练和微调的关键训练技术。虽然小型语言模型（SLMs）与大型语言模型（LLMs）采用类似的训练方法，但我们将重点介绍在有限资源情况下促进SLMs学习的高效技术。
混合精度训练是提升SLMs和LLMs预训练效率的关键技术。该方法利用低精度表示进行前向和后向传播，同时保持高精度的权重更新。例如，Micikevicius等人（2018）引入了自动混合精度（AMP），该方法初始时使用32位浮点（FP32）精度保存权重的主副本，而在进行算术运算时使用16位浮点（FP16）精度。然而，近期的研究（Rae等人，2021）观察到，由于FP16的数值范围有限，AMP在某些情况下会导致精度损失。为了解决这一问题，Burgess等人（2019）提出了大脑浮点（BFLOAT16），该格式具有比FP16更多的指数位，提供了更大的动态范围。BFLOAT16在训练性能和表示精度方面优于FP16。
现代GPU架构进一步通过专用的TensorCores增强了混合精度功能。例如，早期的架构支持FP16和BFLOAT16，而NVIDIA的最新Hopper架构引入了对8位浮点（FP8）精度的支持（Luo等人），从而为大规模语言模型带来了更高的计算效率。
为了进一步提升训练效率并防止模型崩溃，采用了各种优化和稳定技术。虽然Adam（Diederik，2014）和AdamW（Loshchilov和Hutter，2019）优化器广泛使用，但内存高效的变体如Adafactor（Shazeer和Stern，2018）和Sophia（Liu等人，2024b）被引入以提高训练速度和效率。为进一步稳定训练，梯度裁剪（Zhang等人，2020）被广泛应用，以防止梯度爆炸。此外，仔细的初始化策略可以为模型训练提供良好的起点。这些结合技术旨在实现最佳的训练效率，保持数值稳定性，并生成更稳健和强大的语言模型。
为了应对预训练阶段的计算需求，语言模型通常在多个计算节点上进行预训练，利用分布式计算资源实现高效训练。为此，开发了多种系统级优化技术。零冗余数据并行（ZeRO）（Rajbhandari等人，2020）提供了三种渐进式的优化阶段，每个阶段都将更多的训练状态分布到设备上：ZeRO-1划分优化器状态，ZeRO-2增加梯度划分，ZeRO-3进一步划分模型参数。PyTorch的全分片数据并行（FSDP）（Zhao等人，2023b）也实现了类似的概念。这些并行技术允许使用更大的批量尺寸进行训练，大大提高了SLMs和LLMs的效率和可扩展性。
在较小的特定任务数据集上进行微调，允许LLMs利用预训练中获得的知识，从而在特定任务或领域中表现出色。微调技术旨在解决诸如计算资源有限、数据质量、可用性和鲁棒性等挑战，确保能够有效地适应新任务而无需进行广泛的再训练。
3.2.1参数高效微调
参数高效微调（PEFT）仅更新一小部分参数或添加轻量级模块，同时保持大部分预训练模型的参数不变。这种方法减少了SLM微调时的计算成本，保留了模型的知识，减少了过拟合，并提高了灵活性。LoRA（Hu等人，2021）使用低秩分解，PromptTuning（Lester等人，2021）在输入中插入可学习的提示，而Llama-Adapter（Zhang等人，2023b；Gao等人，2023）将提示添加到LLaMA的注意力块中。动态适配器（Kong等人，2024；Feng等人，2024；Gou等人，2023；Liu等人，2023b；Luo等人，2024b）自动将多个适配器组合为专家混合模型，支持多任务处理并防止遗忘（Han等人，2024；Yang等人，2024）。
3.2.2数据增强数据增强通过增加训练数据的复杂性、多样性和质量，提升模型在下游任务中的泛化能力和性能。AugGPT（Dai等人，2023）使用ChatGPT对训练样本进行改写，Evol-Instruct（Xu等人，2023）通过多步修订生成复杂度更高的多样化开放域指令。Reflection-tuning（Li等人，2023a，2024a）通过基于预定义标准使用GPT-4对指令和响应进行优化，提升了数据质量和指令响应一致性。FANNO（Zhu等人，2024）通过检索增强生成技术引入外部知识源，以增强指令并生成响应。LLM2LLM（Lee等人，2024b）在训练过程中基于模型预测生成更难的样本。
数据增强在训练数据有限的情况下也非常有效，例如用于低资源语言（Whitehouse等人，2023）、医疗和临床应用（Chintagunta等人，2021）以及隐私敏感数据（Song等人，2024），从而使模型能够在受限场景下更好地泛化并表现出更强的鲁棒性。
通过使用f散度（f-divergences）的广义版本，序列级蒸馏损失可以得到改进，如Wen等人（2023）所示。Liang等人（2023）通过使用任务感知滤波器扩展了针对语言模型的逐层蒸馏策略，该滤波器仅蒸馏来自教师模型的特定任务知识。最近的研究（Wan等人，2024a,b）表明，通过战略性地融合多个语言模型的输出概率分布，可以将多个语言模型融合为教师模型，以蒸馏知识到小型语言模型中。
语言模型的知识蒸馏面临的一个问题是，当（1）教师和学生语言模型共享相同的分词器，且（2）教师模型的预训练数据可用时，蒸馏策略效果最佳。Boizard等人（2024）通过引入一种受最优传输理论启发的通用logit蒸馏损失，解决了这一问题。蒸馏常常还与剪枝技术相结合，以创建更小的语言模型。例如，Sreenivas等人（2024）和Muralidharan等人（2024）展示了通过对大型语言模型进行剪枝并结合蒸馏损失进行重训练的迭代步骤，可以生成性能强大的小型模型。
鉴于小型语言模型（SLMs）因其高效性和在广泛设备与环境中的应用而变得愈发重要，本文综述了SLMs，包括其模型架构、训练技术以及用于优化SLMs的模型压缩技术。我们还提出了一个直观的SLM评估指标分类法，并总结了SLMs在各种设置和应用中的重要性。此外，我们总结了用于SLMs的训练和基准数据集。最后，我们强调了SLMs领域中亟待解决的基本挑战和开放性问题。我们希望这篇综述能成为研究人员和从业者的宝贵资源，推动小型但功能强大的语言模型的进一步发展。
美国五角大楼的“联盟联合全域指挥与控制”（CJADC2）计划自2018年初启动以来，对美军越来越重要，但对五角大楼负责实施该计划的国防官员和行业合作伙伴来说，却越来越模糊不清。作为更好地连接传感器、射手和指挥官的工作，CJADC2是对抗同级对手所必需的。但CJADC2缺乏具体目标或实例，操作人员和开发人员只能选择冒险行动。如今，美国各军种都在开发自己版本的CJADC2，而作战指挥官和国防部（DoD）首席数据与人工智能办公室（CDAO）则在实地部署网络，以支持战区之间的信息共享和远程火力打击。
由于强调通信而非整合，CJADC2也未能解决国防部在行动取得决策优势过程中的一个主要限制因素--即美国部署的成套部队以领域和军种为中心的性质。当美军抵达作战指挥官所在战区时，通常会首次与其他军种的部队联合。在二十世纪，部队通过拥有共同的条令和程序来整合各军种的力量，但随着美国国防部越来越依赖计算机化和非机组人员系统，数据架构和决策能力的技术整合将成为有效联合作战的关键。
为了重新将CJADC2的重点放在联合集成上，本文建议通过作战实验来共同发展其技术和C2要素，从而实现CJADC2的决策优势目标。为帮助开发这一方法，哈德逊研究所和美国国防工业协会（NDIA）新兴技术研究所（ETI）主办了为期一天的研讨会，汇集了来自政府和行业的高层领导。该活动由三个小组组成，涉及的主题包括乌克兰战争的教训、国防部的组织责任以及指挥、控制、通信、计算机、网络、情报、监视和侦察（C5ISR）的整合。
在研讨会讨论以及随后的访谈和分析的基础上，本文提出了六项原则，这些原则将提高国防部整合联合部队的能力，而不仅仅是连接他们的网络：
通过寻求近期作战问题和任务的解决方案，国防部可以创建一个DevSecOps循环，在这个循环中，作战人员和技术专家合作，迅速确定将现有系统结合起来以实现预期结果的方法、定义成功的指标，以及由此产生的接口和信息交换需求。相比之下，自上而下确定互操作性要求和标准可能需要数十年才能实现单一杀伤链。
将系统组合成效应链的联合方法可以实现模块化，并在多个行业合作伙伴和供应链之间分配系统元素。根据项目官员决定在何处设置接口和建立模块化的情况，联合集成方法可实现系统和子系统的规模化生产，而不受任何单一承包商、合同、合同行动或政府项目办公室的限制。
在联合集成方法下，美国防部可以加快和简化测试与评估。它可以对系统、平台及其软件进行单独评估，包括在虚拟环境中评估其适用性和有效性，而不是等待组装一个完整的系统来支持验收测试。通过针对特定任务或作战挑战进行联合集成，国防部可以为未来的系统实例化提供越来越多的选择。例如，国防部可以重新组合或集成任务系统、有人和无人平台以及武器，将其与一个新的组件结合起来，以支持一个任务和作战问题，从而实现一个全新的任务主线，解决另一个作战问题。反之，在通过联合、自下而上的方法整合更多系统时，它也可以通过使用多个不同的任务线程来解决相同的作战问题。
联合作战历来是美军的优势所在。联合作战帮助美军赢得了第二次世界大战，而网络化联合作战则是美国和盟军在20世纪90年代“沙漠风暴”行动和“盟军”行动中取得成功的基础。但在机器时代，联合作战需要技术和条令的整合。为了保留联合作战的历史优势，国防部需要调整CJADC2的方向，从主要以军种为中心、自上而下地追求网络互操作性，转变为自下而上地整合执行最优先任务所需的杀伤链。
图.美国防部部队组建流程仅在部署时整合单元
从纳戈尔诺-卡拉巴赫冲突（Hecht，2022年）和乌克兰冲突（Wyrwa，2022年）得出结论，无人机在战场上的广泛应用已成为现实，无需再做说服工作。无人机不仅能执行观察和侦察任务，还能执行打击、运输、搜索和救援行动等许多其他任务，显示了其多功能性。目前，看到的无人机既有单个的，也有成群的，还有像可重构模块智能作战阵列（SWARM）这样的机群。此外，大多数无人机的生产成本非常低，但其效能却足以成功摧毁高价值目标和先进军事装备。无人系统的任务和设计多种多样，因此需要有效的制衡措施，包括反无人机系统和反无人机防御方法。在这方面，研究课题的重点是反无人机防御，即一套旨在探测、识别和制服无人机（无人驾驶航空系统）的措施和作战能力，以保护自己的部队、军事设施和民用物体。
图2.C-UAS参与中考虑的无人机系统特征。
反无人机系统的运作包括以下活动：探测、目标分类（识别）、跟踪，以及向负责解除其威胁的执行器发出警报和传送信息。根据目标的类别，这些任务可通过不同的系统、传感器、探测和交战技术来完成。目前，反无人机系统可分为两个基本类别：空域监测系统和反制系统。
监测系统既可以是主动的，也可以是被动的。在这方面，主要有四种无人机探测方法：
现代无人机大多由复合材料制成，因此雷达截面（RCS）非常低，难以被雷达系统探测到。它们可能被误认为是鸟类，因为无人机通常没有配备识别系统，而这种设计是有意为之，因为无人机经常在敌方领土上空作业。因此，雷达信息并不总是完整的，可能导致严重的并发症，特别是当友方和敌方的无人机在同一空域运行时（HollandMichel，2019年）。此外，无人机（UAV）的飞行高度比飞机或直升机低得多，在地形障碍物的掩护下机动更加自如。无人机能够从简易跑道和着陆点进行操作，在附近发射时，它们会突然出现在空域。所有这些因素表明，雷达侦察只能作为探测无人机的可能方法之一。
以识别为基础的反无人机系统应依靠多种探测器或传感器，基本上是各种组合和配置。其中一种传感器是频率信号探测器，可识别使用无线电波与其操作员通信的无人机。大多数遥控无人机的工作频率在2.4GHz至5.8GHz（Wi-Fi频率）范围内（Gupta、Ghonge、Jawandhiya，2013年），因此监测这些频率有助于检测其活动。一些基于三个传感器的系统可以检测到发射设备的IP地址并找到操作者。另一种无人机探测方法是跟踪其视频传输频率。许多装有摄像头的无人机会向操作员传输实时视频。视频传输频率因无人机类型而异，但常用的频率范围包括2.4GHz、1.2GHz和5.1GHz（Aouladhadj、Kpre、Deniau、Kharchouf、Gransart、Gaquière，2023年）。扫描无线电频谱是一种相对简单的方法，不需要大量资金投入，但可能会因其他设备使用相同频率而导致误报。频率信号探测器通常用于对付在可视范围内控制的小范围商用无人机。该系统的优点是被动性强，但在无线电信号高度集中的城市环境中进行跟踪存在局限性，而且无法探测到预先计划好飞行轨迹的无人机。
使用声学传感器也可以实现无人机探测。这些传感器通常是定向麦克风或麦克风阵列，可以探测到无人机的声音，并指示无人机接近的方向。与频率信号探测器类似，使用至少三个麦克风是理想的配置，因为这样可以提供被探测目标的三维图像。这种系统的优势在于它是一种被动探测方法，在视觉和无线电能见度有限的地区特别有用，而且可以与其他探测系统互为补充。由于麦克风设备重量轻，这些探测器通常具有很强的移动性。然而，声学传感器的一个重要局限是无法在嘈杂的环境（如城市地区或强风中）中工作，这可能导致探测距离有限，仅为300-500米左右（Vashisht，2021年）。此外，一些无人机可能配备了降噪技术，在使用声学探测器时应考虑到这一点。因此，应将这些探测器视为辅助系统，而不是独立的解决方案。
光学传感器，包括日光摄像机和红外摄像机，也可用于识别空中无人机。这些设备的优点是可以根据无人机的形状检测和识别无人机，并记录涉及无人机的事件。然而，这些系统的缺点是在恶劣天气条件下可能会失效，如大雾、暴雨，有时甚至在夜间。此外，这些系统观测空域的视野有限。
打击空中无人机有几种方法。以下系统可用于此目的：
干扰系统的使用涉及破坏射频（RF）信号和干扰全球导航卫星系统（GNSS）的卫星导航信号，如全球定位系统（GPS）、格罗纳斯（GLONASS）、伽利略（Galileo）或北斗（BeiDou）。射频干扰需要发射无人机与其操作员之间用于通信的类似频率的信号。这可能导致操作员失去控制，使无人机无法正常运行，被迫自动降落或返回初始起飞点。无人机通常依靠卫星导航信号来保持飞行方向和稳定性。干扰GPS信号可以通过在GPS系统使用的频率范围内发射强烈的无线电信号来实现。其后果可能是无人机在空域中迷失方向，失去飞行控制。频率发射器操作的优点是中和无人机的成本低，被称为“软杀伤”，缺点是射程短，可能干扰其他设备，包括自己的无人机。
最后一种也是最常用的在战场上打击无人机的方法是无人机失效，即在飞行过程中摧毁无人机。为此，通常使用机枪、霰弹枪或小口径速射炮（火炮），它们也可用作高射炮系统。这种火力可以是目视、光学或雷达制导的。此外，就短距离快速摧毁小型空中目标的能力而言，反火箭炮和迫击炮（C-RAM）系统似乎是理想之选。它们采用半自动作战模式，由于使用可编程弹药，击中目标的概率很高。在火力系统中，还可使用便携式单兵防空系统（MANPADS）和短程防空导弹系统（Dura，2023年）。然而，必须注意使用这些系统的成本效益，尤其是在对付装备旋转翼的I类无人机时。这些无人机的生产成本与向其发射导弹的潜在成本相比低得不成比例。此外，这类无人机的飞行特性，如低速和低空，使其容易成为目标，并容易受到廉价、非专门化火力的攻击。
在直接使无人机在飞行过程中丧失能力的系统中，最新的解决方案是基于定向能武器（DEW）的武器，这种武器利用光束聚焦能量。其中包括高功率微波（HPM）武器或高能激光（HEL）武器。高功率微波发射器（HPM）能产生强大的电磁脉冲，可摧毁无人机的电子设备或干扰其运行。使用这类武器的优点是非动能破坏。然而，其显著缺点是需要将大量能量集中在光束中，因此必须使用大型、耗电的发电机，这限制了机动性和作战能力（美国政府问责局，2023年）。
然而，值得注意的是，HEL武器的开发和利用也伴随着技术挑战和限制，如激光系统的有效冷却、在整个作战范围内保持光束稳定、产生足够强大的光束以打击远距离空中目标，以及与HPM武器类似，使用机动性有限的大型发电机（Dbrowski，2017年）。
说到对抗空中无人机，重要的是要注意没有“银弹”方法能提供有效的无人机防御。无人机平台的多样化及其执行任务的广泛性要求反无人机系统进一步专业化，同时利用动能和非动能作战手段。目前，这些方法的结合以及采用具有不同探测和失效能力的系统的多层次方法可以在一定程度上减轻无人平台（尤其是最小的无人平台）带来的威胁。然而，不幸的现实是，虽然这些系统能有效对付极小型无人机，但却无法摧毁在高空和远距离作业的二等和三等无人机。此外，由于缺乏多通道能力，在涉及大群无人机或无人机群的情况下，这些系统可能会失效。即使是最有前途的无人机反制措施，也无法在广泛的作战平台上进行扩展和应用。尽管缺乏明确的解决方案，无人机反制市场仍在快速增长（预计到2031年底，市场价值约为146亿美元）（AliedMarkedReserch，2023年）。
战场上解除无人机威胁的主要手段是火炮和导弹防空系统。但需要注意的是，根据其使用原则，这些系统都部署在军事行动的后方。因此，前线防线仍然很脆弱，容易受到无人机的攻击，特别是那些在极低空飞行的最小的1类无人机。在这种情况下，对付它们的方法之一是用小口径单兵火器（小武器、机枪、霰弹枪）与之交战。然而，由于无人机体积小、速度快、机动性强，这种交战的效果有限。目前，还可以使用由佩戴护目镜的操作员控制的第一人称视角（FPV）无人机，从无人机的视角直接观察敌方最小的无人机，从而使其失效。FPV无人机的时速可达100公里，可用于直接（自杀式）攻击敌方无人机。不过，使用这种无人机需要经过严格训练的操作人员，具备在战场条件下高速操纵这种飞行器的能力。
不过，摧毁2级和3级无人机的能力仍在专业防空系统的能力范围之内。遗憾的是，这类措施的成本效益通常不利于防御系统。传统的中程甚至短程防空导弹非常昂贵，而无人驾驶系统则价格低廉，应用广泛。相比之下，一枚“爱国者”导弹的成本约为300万美元，一枚用于基辅防御的NASAMS/AMRAAM导弹估计为100万美元（Partrige,2022），而俄方使用的沙赫德-136“神风”无人机的成本（视型号而定）仅为每单元2万至6万美元（Sof,2022）。
此外，使用无人机群或无人机群的性质要求防空系统达到相当高的饱和度，以保护军事编队的优先要素。另一个问题是识别无人机的能力，因为无人机被有意设计为在敌后行动，而且没有配备敌友（IFF）识别系统。由于这些原因，遵守空域管制规则和执行空域管制措施也具有挑战性。因此，有必要开发一些系统，如利用人工智能（AI）的系统，可以根据无人机的轮廓、特定伪装、工作频率或操作方法识别无人机。
目前，由于缺乏有效的反无人机措施来保护部队，因此有必要制定反无人机战术（Michalski&Michalska,2017）。这些战术不仅应包括主动措施，如探测、侦察、警戒和制服无人机，还应包括被动防御措施，旨在保持军事力量的生存能力和存活率。在被动反无人机防御领域，必须规划隐蔽和伪装等活动，使用欺骗、人工诱饵、陷阱和诱饵。应尽可能将无线电波辐射、电磁辐射和噪音降至最低。在能见度低或夜间条件下规划部队调动和部署至关重要。采用分散兵力和防御网络有助于拦截在友军阵地和关键作战系统上方执行神风特攻队任务的游荡弹药和无人机（ATP3-01.81,2023）。虽然这些措施可能不是最具创新性的，而且在某种程度上与伪装和部队保护的一般原则相一致，但在无人系统威胁很大的情况下，这些措施可能特别有用。
图神经网络已经在推荐系统、知识图谱、智能交通等领域得到广泛应用。基于图神经网络的深度学习算法及其衍生应用系统在许多图任务上取得了突破性的进展，但是其具体的实现仍然依赖于不同的算法平台。由于目前没有统一的图神经网络的表示标准，不同的算法平台采用了不同的图神经网络的表示和存储标准；不同图神经网络框架之间不能互操作与协同工作；图数据和图神经网络模型不能在不同平台上直接迁移使用；不同图神经网络框架对于图神经网络粒度定义不同，妨碍了硬件厂商对于图神经网络的加速和优化；对于新出现的算子，框架都需要进行重定义。本文件旨在提供图数据和图神经网络统一的表示，以及模型算子接口的统一规范参考，提升用户对图神经网络模型的复用效果。对于本标准规定的表示方法不要求平台原生支持，可以通过转换、工具包等形式进行支持。本文件的定义可转化为与特定计算设备、框架匹配的形式和实现。GB/T42382旨在确立适用于不同种类神经网络的表示方法与模型压缩的规范，拟由三个部分组成：
——第1部分：卷积神经网络。目的在于确立适用千卷积神经网络的表示与模型压缩标准。
——第2部分：大规模预训练模型。目的在于确立适应多种推理平台和计算要求的大规模预训练模型的基本表示方法与加速压缩过程。——第3部分：图神经网络。目的在于确立适应多种计算要求的高效图神经网络模型的基本表示方法与压缩加速过程。
跨模态的泛化能力：MLLMs展现了在不同模态中处理多种任务的灵活性，包括：*图像描述生成和视觉问答。*跨模态检索和内容生成。*音视频整合用于视频字幕或口型同步任务。*多模态翻译，例如将视频内容转换为文本摘要。*通过同时解读手势、面部表情、语音和文本，提升人机交互体验。
机器人与具身AI的进步：在机器人领域，MLLMs帮助系统更有效地感知和交互环境。通过处理视觉、听觉和传感数据，MLLMs支持的机器人可以执行复杂任务，如物体操作、导航和人机交互。例如，家用机器人可以结合语言理解、视觉识别和空间导航，执行“请从厨房柜台拿来红色杯子”这样的口头指令。现实应用潜力：MLLMs处理多种数据类型的能力使其在信息形式多样的实际应用中具有重要价值。例如：*在自动驾驶车辆中，这些模型可以整合来自摄像头的视觉数据与地图和交通报告的文本信息，从而增强导航和安全功能。MLLM可以帮助自动驾驶汽车识别路标、解释其含义并相应调整车辆行为。*在科学研究中，MLLMs可以同时分析分子结构、研究论文和实验数据，以识别潜在的新药物化合物。这将通过识别人工可能忽略的跨多数据集模式，加速寻找新疗法的过程。
架构创新：几项关键的架构创新推动了MLLMs的发展：*编码器-解码器框架：此架构用于诸如DALL-E等模型，允许文本和图像域之间的映射。编码器处理输入（如文本），解码器生成输出（如图像）。类似于一个将文字故事转换为绘画的翻译者。*跨模态Transformer：这些模型为每种模态使用单独的Transformer，并通过跨模态注意力层融合信息。模型可以先分别处理文本和图像，然后将信息结合起来。这类似于人们先阅读书籍再看插图，然后结合这些信息以更全面地理解。*视觉Transformer（ViT）：这些将Transformer架构直接应用于图像块，使视觉和语言模型的整合更加无缝。ViT将图像分解为较小的块并依次处理，类似于Transformer处理句子中的单词。
对AI应用的影响：NLP和计算机视觉的融合使得MLLMs在各种AI应用中展现了新能力：*多模态聊天机器人，可以理解和生成文本和图像。例如，一个客户服务机器人能够理解产品图片，并提供文字解释和视觉辅助。*内容审核系统能够同时分析文本和图像，为社交媒体平台提供更具上下文意识的不当内容过滤。*为视障用户生成图像描述的无障碍工具，使他们通过详细的文字描述“看到”图像。*增强自动驾驶系统中的人机交互，车辆能够理解来自环境的语言命令和视觉提示。
挑战与未来方向：尽管MLLMs取得了显著进展，仍然面临一些挑战：*偏见与公平性：MLLMs可能会延续或放大训练数据中存在的偏见，特别是在文本和视觉域中。例如，由于训练数据不平衡，它们可能在图像识别中错误地识别个体。解决此问题需要仔细的数据集筛选、多样化的数据表示，以及对模型输出的持续监控和调整。研究人员正在探索对抗去偏技术和公平性学习等方法来缓解这些问题。*可解释性：理解MLLMs如何在不同模态间进行决策对于建立信任至关重要。这涉及开发解释模型决策的技术，创建能够有效表示不同模态在模型推理过程中的相互作用的可视化工具。例如，注意力可视化和显著性映射等技术正被应用于多模态环境，以提供对模型决策过程的洞察。*效率：当前MLLMs通常需要大量计算资源。研究者正在积极研究更高效的架构和训练方法。潜在的解决方案包括：
模型剪枝：删除不必要的参数，创建更小、更快的模型，同时性能损失较小。*知识蒸馏：创建较小的模型模仿较大模型的行为，类似于学生从老师那里学习。*量化：减少模型参数的精度以降低内存和计算要求。*伦理考量：随着MLLMs变得更强大，一些伦理挑战出现了：
随着该领域研究的进展，MLLMs在理解和生成跨多模态内容方面的能力将变得更强，这有可能导致AI系统在人类般的世界理解上取得更大进展。MLLMs的持续进步不断推动AI的创新和应用边界，在不同领域中开启了新的发展机遇。
多模态大型语言模型（MLLMs）代表了人工智能技术的重大飞跃，弥合了不同信息处理模式之间的差距，使我们更接近于开发出能够更像人类一样理解和与世界互动的AI系统。MLLMs同时整合和处理多种类型数据的能力，拓展了其在各个行业和领域中的广泛应用前景。展望未来，MLLMs的潜在影响广泛且具变革性：*在医疗领域，MLLMs能够通过整合视觉医学数据、文本化的患者病史和最新研究成果，彻底革新诊断和治疗规划。例如，MLLM可以分析患者的MRI扫描、病史和最新的医学文献，以建议个性化的治疗方案。*在教育领域，这些模型可以通过根据学生的多模态互动来调整内容，创造更加引人入胜和个性化的学习体验。基于MLLM的辅导系统可以根据学生的口头回应、面部表情和在视觉任务中的表现来调整教学风格。*在科学研究中，MLLMs可以通过分析复杂的多模态数据集并识别可能被人类研究者忽略的模式，加速科学发现。例如，在气候科学领域，MLLM可以整合卫星图像、气象数据和科学论文，以识别气候变化中的新模式。*在创意产业中，MLLMs可以成为内容创作的强大工具，推动互动性和沉浸式叙事的新形式。设想一款能够根据玩家的行为和偏好生成独特故事情节和视觉内容的视频游戏。
然而，在我们拥抱MLLMs的潜力的同时，也必须警惕其带来的挑战。解决偏见问题、确保道德使用、提高效率和增强可解释性将是充分实现这些强大模型潜力的关键。对研究人员和实践者的行动呼吁：*开发强有力的技术来减轻多模态数据集和模型输出中的偏见。*创建更高效的MLLM架构，以减少计算需求和环境影响。*探索改进MLLM输出的跨模态一致性和连贯性的新方法。*研究MLLMs与其他新兴技术（如增强现实和物联网）的集成。*制定跨行业开发和部署MLLMs的伦理准则和最佳实践。
MLLMs的发展不仅是技术进步，还代表了我们在人工智能领域方法的根本转变。通过模仿人类处理和整合多种信息类型的能力，MLLMs正使我们更接近于创建真正智能的系统，这些系统能够以更细致全面的方式理解和互动世界。随着该领域研究的不断发展，我们可以期待更加复杂的MLLMs，它们将进一步突破AI的可能性。未来的道路充满了激动人心的可能性和挑战，而MLLMs的持续发展无疑将在塑造人工智能的未来及其对社会的影响中发挥关键作用。研究人员、从业者和政策制定者有责任以负责任的方式引导这一发展，确保MLLMs的利益得到实现，同时减轻潜在的风险和伦理问题。
考虑到资产之间的通信可能是局部的，但不可能是全局的（例如，由于通信网络中断），“马赛克战争”要求多个分散资产在较小的群组中移动和运行。在这些群组中，资产之间存在分层的功能关系。本研究提出并评估了一种分级资产组合和路由启发式（HATRH），用于实施由机载传感器、指挥和控制飞机以及攻击机组成的空中资产企业的马赛克战，以移动并摧毁一组固定目标。HATRH由三种迭代应用算法组成：一种是将资产组合成功能片的分组算法，另两种算法分别与资产群移动和单个资产移动有关。后两种算法中包含由用户确定的参数，这些参数大致对应于马赛克中的群体和单个资产机构。广泛的测试检验了这些参数和资产密度对三种不同操作场景设计的影响，并通过两个无政府价格（POA）启发指标与最佳（即高效）资产利用率进行了比较。结果表明，与单个资产机构相对应的用户自定义参数对平均弹药消耗和资产平均飞行距离都有显著影响。在资产最初包围敌方目标的情况下，单个和群组机构用户定义参数都会影响弹药消耗和燃料消耗方面的作战效率。
2021年1月，中共中央、国务院印发《国家综合立体交通网规划纲要》，首次提出发展“低空经济”,“低空经济”概念被首次写入国家规划。2023年12月11日-12日，中央经济工作会议提出“打造生物制造、商业航天、低空经济等若干战略性新兴产业”，低空经济提升至国家战略性新兴产业高度。2024年3月全国两会，“低空经济”首次写入政府工作报告。党的二十届三中全会作出的《决定》明确提出“发展通用航空和低空经济”。
这些应用场景的实现，改变了人们的出行方式和生产生活方式，也为低空经济乃至整个社会的发展注入了新活力和新动能，可以说，场景就是驱动低空经济发展的主引擎，缺少场景这个载体，无论是多么先进的低空航空器，还是多么智能的低空网联基础设施，都不可能有大展拳脚的舞台，只有在场景搭建出的这个广阔舞合上，低空制造、低空飞行、低空保障和综合服务才能够得以集中展现，低空经济活动才能够直接解决我们现实生产生活中的问题，才能够创造出可衡量的经济和社会价值。
既然场景如此重要，那么，低空经济场景的内涵和特征究竟是什么场景在低空经济这一新质生产力发展过程中究竟起何作用目前低空经济主要有哪些应用场景实践各类“低空+”场景发展现状又是怎样呢未来会有什么可预见的发展趋势最后,低空经济场景要想实现大规模应用，政府层面和企业层面又需要注意什么呢
数学的应用实际上在所有科学领域都是无限的。从使用矩阵算法来保护和传输数据的密码学，到使用变分微积分来计算弹道导弹的交叉点，军事科学的方方面面都有数学的身影。从数学角度对军事进行研究和分析，构建了战斗数学模型。这些模型利用稳健的数学标准描述军事战斗的演变并预测其结果。这将有助于得出正确的战略以及正确的决策，从而击败对手，避免灾难性的错误。
1引言
小型语言模型的高级增强策略
小型语言模型的应用
目前，固定翼和旋转翼飞机的设计呈现出持续和全面发展的明显趋势。此外，无人驾驶飞行器、巡航弹药、致命自动武器系统、弹道导弹、巡航导弹、高超音速巡航导弹、轻于空气的传感器平台、高空伪卫星和其他武器的发展也在不断进步。现代技术的发展和新材料的获取为现有空中威胁的现代化和新型威胁的发展创造了机会。此外，人工智能在无人系统中的潜力也是一个不容忽视的重要因素。上述情况促使对当代军事空中威胁进行了深入研究，并对未来冲突中空中威胁的演变进行了预测。
图：空中威胁的演变趋势
如果认为在未来二十年内只有第五代和第六代战斗机才能执行空中任务，那就大错特错了。虽然空中作战的主要任务，如进攻性反空（OCA）、防御性反空（DCA）、压制敌方空中防御（SEAD）和摧毁敌方空中防御（DEAD），确实将由这些先进飞机承担，但第四代和第四代以上飞机的作用仍将十分重要。目前，许多国家都在对第四代战斗机进行现代化改造，使其继续服役几十年，直到最终被第五代及以后的战斗机取代。这些现代化改造主要侧重于提高飞机的生存能力，主要是通过安装电子自卫系统来干扰和欺骗敌方的传感器和效应器。老式飞机升级的一个重要方面是将现有雷达更换为采用有源电子扫描阵列（AESA）技术的新雷达，后者可在主动、被动和电子战模式下运行。现代化的飞机配备了综合侦察、瞄准和导航系统，可使用先进的空对地弹药，包括对地武器和雷达探测能力较弱的武器。
毫无疑问，第五代飞机将在未来几年发挥越来越重要的作用。这将通过利用隐形技术来实现，该技术依赖于特定的机身设计、可吸收或散射特定波长电磁辐射的复合材料，以及减少喷气发动机发出的热信号。正是由于这种技术及其从远距离和高空实施精确打击的能力，在未来的武装冲突中尤为可取。一切都表明，通过利用以网络为中心的指挥和控制系统，第五代飞机可作为一个综合系统--空中平台--中的一个要素，其中包含可根据任务要求灵活配置的传感器和效应器。
然而，即使是最先进的第五代战斗机也将逐步转型。目前已在加紧研制所谓的第六代战斗机。这种战斗机将具备在机上没有飞行员的情况下执行任务的能力。此外，在空中行动中，它们将与无人驾驶飞行器（UAVs）、巡飞弹药和忠诚僚机结合在一起，发挥对它们的控制功能。
在发明了专门用于为战斗机上的定向能武器（DEWs）提供动力的相对较小但高效的储能或发电系统后，战斗机将获得更多的能力，可以攻击更多的目标，还能防御敌方导弹。这种能力在空战中至关重要，例如在面对敌方无人机蜂群时。
直升机目前在武装冲突中发挥着重要作用，这得益于它们的特殊能力，即垂直起降以及将人员和物资运送到难以进入地区的能力。直升机可执行各种任务，包括近距离空中支援（CAS）、近距离战斗攻击（CCA）、战斗搜索和救援（CSAR）运输行动以及特种作战和电子战。直升机是携带大量制导和非制导武器的绝佳平台。通常，直升机通过超低空飞行，能够穿透敌方雷达而不被发现。然而，目前有一种明显的趋势，即限制攻击直升机在战场上的作用。当前武装冲突的经验表明，攻击直升机极易受到机枪火力和专业防空武器的攻击。飞行员和直升机的重大损失导致其被无人机取代。侦察任务也有类似情况。然而，这并不意味着直升机在未来的武装冲突中将不再使用。它们将更频繁地执行运输、CSAR和特种作战任务。至于进攻性任务，它们将与无人机和巡飞弹药合作执行，使直升机能够保持在便携式防空导弹、敌方高射炮和机枪的射程之外。今后，现有直升机将进行现代化改造，配备综合瞄准和导航系统，并安装夜视和热成像装置。直升机还将进行改装，以使用现代武器。与飞机类似，预计也将在直升机平台上安装DEWs，使其具备自卫能力。
很明显，战斗机和直升机的作战能力在很大程度上取决于它们所能使用的空中武器。此外，通过利用多种制导方法，包括惯性导航系统、全球定位系统、红外、雷达或其他手段，将导弹和炸弹引向预定目标，可明显提高目标精度。这不仅增强了此类空中武器的反制能力，还使其小型化成为可能，小直径炸弹（SDB）就是一例。这些打击的精确性使弹头质量得以减少，便于战斗机和直升机携带更多炸弹，并能打击更多目标。重要的是，这种方法还有助于降低附带损害的风险。预计未来战斗机将越来越多地装备导弹、滑翔炸弹和采用隐形技术的巡航导弹。此外，其中许多武器将具备在地基防空系统（SBAD）射程之外发射或投放的能力。最近，注意到使用了全新类型的空中武器。俄罗斯的高超音速空射弹道导弹（如Ch-47M2Kinzhal）和高超音速巡航导弹（如3M22“锆石”）已经可以从飞机上发射。可以预见，这一趋势将继续上升。此外，激光和微波武器的广泛使用很可能无需等待太久。
在各种类型的空中威胁中，无人驾驶飞行器（UAV）的发展最具活力，这一点很难不引起人们的认同。它们正在承担越来越多以前由载人平台执行的任务，而且由于其独特的特性，还在承担新的任务。如今，最大的无人飞行器能够在地球的另一端执行持续几十个小时的任务，而较小的无人飞行器则可以在城市化的环境中航行，无论是在室外还是在室内。因此，不禁要问：未来的无人机还能带来什么出其不意？
从乌克兰战争中获得的经验表明，在某些情况下，大量设计简单、生产成本低的无人机可以成功地与技术先进、因此价格昂贵的无人机相抗衡。先进技术的可获得性也可能成为许多国家独立制造无人机的障碍，特别是在它们无法从其他国家获得现代无人机的情况下。此外，采购成本本身也会成为一些国家的巨大障碍。因此，可以预见，未来既会使用技术先进的无人机，也会使用能够大规模生产的简单机器。
未来，人工智能（AI）可能会在无人机的作战应用中发挥特别重要的作用。无人机有可能成为能够探测、识别和攻击目标的自主系统。人类控制的程度可能各不相同，从“人在环内”，即由人类启动武器行动（换句话说，并非完全自主），到“人在环上”，即人类可以干预或中断行动，甚至到“人在环外”，即无需人类参与。
可以预见，巡飞弹药的发展也会出现类似的趋势。与无人机一样，巡飞弹药的战术和技术参数也将不断进步，雷达和热信号也将减少。人工智能的应用将进一步增强其作为传感器和射手的现有双重功能。在蜂群战术中利用巡飞弹药的潜力也很乐观。不过，重要的是，在未来的冲突中，相对廉价和设计简单的此类弹药将占据主导地位。这些具有成本效益的解决方案将被大量生产和部署，以实现大规模作战行动。此外，预计巡飞弹药将从各种平台上使用，包括陆基移动发射器、有人和无人驾驶飞行器以及水面舰艇和潜艇。
比空气更轻的传感器平台（LAPs）是一种不太常见但却令人感兴趣的解决方案。事实证明，这些无人驾驶飞行器具有挑战性，价格相对低廉，易于操作，主要用于侦察目的。虽然LAPs在航向修正方面有明显的局限性，但在特定的有利环境下，它们可以发挥优势。因此，不排除冲突各方将来会考虑部署此类平台。
"导弹"一词包括弹道导弹、巡航导弹以及对防空系统构成重大挑战的最新导弹的发展预测：高超音速滑翔飞行器（HGV）和高超音速巡航导弹（HCM）。
说到弹道导弹，预计它们将保持现有的优势。这些优势包括从固定陆基平台、移动发射器、舰船甚至飞机（如Kh-47M2Kinzhal航空弹道导弹）发射的能力。弹道导弹，尤其是最新型的弹道导弹，具有很高的瞄准精度。它们的射程遍布全球，洲际弹道导弹（ICBM）在这方面尤为突出。此外，洲际弹道导弹可以从敌方控制区以外发射，并配备了提高其生存能力的系统。由于其雷达信号低、速度快，因此很难被发现和拦截。重要的是，弹道导弹有能力携带各种类型的弹头，包括常规弹头、核弹头、化学弹头和生物弹头。
考虑到发展趋势，预计未来的弹道导弹将采用多种制导方法，提高目标制导精度。此外，它们还将提高制导系统的抗干扰能力。弹道导弹已经装备并将继续装备越来越先进的诱饵，以迷惑拦截导弹，使其失去作用。毫无疑问，通过采用扁平化飞行轨迹和在末端阶段利用空气动力来操纵飞行参数，包括执行加速度极高的机动动作，利用飞行隐形技术将进一步提高弹道导弹的效能。所有这些都是为了使它们在防空系统的反击下更具挑战性。在未来的冲突中，重要的是要考虑到老一代弹道导弹将被部署，并进行各种改装，特别是为了提高其射程和精度。这些改装将由中低级发达国家和所谓的“无赖”国家进行。
高超音速巡航导弹（HCM）被认为是非常先进和有前途的武器。这是因为它们能够以5到10马赫或更高马赫的速度在大气层低层的整个飞行轨迹中进行机动。它们的雷达信号很低，几乎无法被探测到，而且它们在整个飞行轨迹中的机动性阻碍了对方对目标的准确推断。
高超音速飞行器的独特之处在于其推进系统。它们最初由火箭助推以达到高超音速，然后利用喷气发动机（scramjet）维持这一速度。与高超音速滑翔飞行器（HGV）相比，高超音速飞行器发动机的进气方式使其能够使用更小的发射火箭，从而提高了成本效益，并扩大了从各种平台发射的能力。
然而，仍有待解决的一个重大挑战是如何有效消散高速高超音速飞行器与大气低层稠密空气摩擦产生的热量。不过，据预测，工程师们将在不久的将来克服这一障碍，从而实现HCM的大规模生产。必须指出的是，在未来许多年里，只有少数几个国家有能力展示HCM生产技术。
此外，还为军事目的对软件进行了修改，以克服民用无人机使用中的某些固有限制。必须指出的是，改用于军事用途的民用无人机在对抗反制措施方面不如典型的军用无人机有效和有弹性。然而，正如乌克兰冲突所表明的那样，成功的关键在于这些无人机的战术运用和大规模可用性。获取和改装无人机用于军事目的的成本大大低于军用无人机。
长期冲突的特点是导弹和弹药库存最终会耗尽，即使这些库存最初很充足。这种情况在乌克兰的持续战争中显而易见，特别是在俄罗斯武装部队的行动中。随着地对地导弹供应的减少，俄罗斯人选择重新利用地对空导弹，特别是S-300和S-400防空系统来打击地面目标。虽然这些导弹的效能不如同等规模的常规地对地导弹，但它们弥补了由此造成的能力差距。
这两个案例都凸显了局限性是如何刺激工程师和军事人员进行创造性思考的。因此，有理由预计，在未来的武装冲突中，原本为不同目的而设计的机载资产可能会在战斗场景中得到应用。