知来者逆的博客

方法特点适用场景优点缺点SFT全参数微调数据量大，资源充足完全适应任务计算成本高LoRA低秩分解，部分参数微调资源有限参数效率高，显存占用低需要额外实现P-tuning提示优化，不修改模型参数少样本学习显存占用低需要设计提示模板Freeze冻结大部分参数，微调部分层资源有限，数据量小计算成本低模型适应能力有限。

最近国产大模型DeepSeek很火，但有时因为访问人数过多导致反应慢甚至宕机。但好在DeepSeek是开源的，可以本地部署，这样就不用联网也能用了。但本地部署需要考虑硬件需求，比如是否有足够的GPU资源，存储空间，以及是否熟悉相关的技术步骤。本地部署的优势，比如离线使用、数据隐私、响应速度。是于本地部署，对硬件有一定的要求，特别是GPU，显然，GPU显存越大，就能部署参数更多的模型，通俗的讲，显存越大，模型越聪明。

近年来，以 ChatGPT 为代表的**大型语言模型（LLMs）通过思维链（CoT）**在文本中表示中间推理部分，在算术和符号推理中取得了优异的成绩。另一方面，即使进行了大量的多模态预训练，但无法回答人类通过视觉推理就能轻松解决的文本查询这一难题仍然令许多研究人员头疼不已。在此背景下，本文。

本研究提出了一个使用大规模语言模型（LLM）的框架，以改善人机协作制造系统中的通信。在制造过程中，人类操作员要灵活应对动态情况，而机器人则要执行精确的重复性任务。然而，人类与机器人之间的沟通障碍阻碍了双方的协作。在这项研究中，我们提出了一个将自然语言语音命令整合到任务管理中的框架。一项装配任务案例研究表明，该框架可以处理自然语言输入并处理实时装配任务。研究结果表明，LLM 有潜力改善制造装配应用中的人机互动。介绍机器人技术的进步大大提高了生产效率，降低了成本，提高了生产率。

人工智能技术的进步正在改变数字内容生产和消费的格局。尤其值得注意的是生成式人工智能的快速发展，包括大规模语言模型，如 ChatGPT，它出现于 2022 年，是基于 GPT-3 的大规模语言模型，能够生成质量非常接近人类文本的文本。这些模型可以自由生成考虑到用法、语气和上下文的文本，因此被广泛应用于内容创作。但与此同时，大规模语言模型所生成内容的可靠性、原创性和质量也引起了人们的关注。此外，人们还讨论了这些技术快速生成大量内容所导致的信息超载问题。

本研究提出了一种将大规模语言模型（LLMs）集成到多代理系统（MAS）中的新框架，以解决传统制造业在适应动态环境和快速响应生产变化方面所面临的困难。具体来说，GPT-3.5 和 GPT-4 等 LLM 可使代理以自然语言进行交流，并提高其解释人类指令和做出决策的能力。这一框架使代理能够在制造过程中有效地沟通、理解和执行任务，从而增强了 MAS 的适应性和协调性。作为一个实际案例，我们介绍了一个案例研究，展示了代理如何准确地分发 G 代码并执行制造流程。

与普通的人工生成数据不同，合成数据是由模型和算法生成的数据，由于可用作大型语言模型（LLMs）的训练数据，因此近年来受到越来越多的关注。然而，虽然可以扩大合成数据的数量，但很难扩大其多样性，因此需要各种各样的提示来创建多样化的合成数据。本文提出了一种角色驱动的数据合成方法–一种创建多样化合成数据的新方法，并介绍了如何利用这种方法从大量网络数据中构建一个角色集（Persona Hub）–一个包含十亿个角色的大规模数据集。本文通过建立一个角色集，并举例说明了该方法的各种用途。结果如何？

随着生产率的提高，客户对多品种、小批量生产的需求也在不断增加，这反过来又对制造系统提出了更高的要求。由于这种需求，当生产任务频繁变化时，传统的制造系统往往无法做出快速反应。为解决这一问题，作者提出了一种多代理制造系统。然而，由于技术上的限制，这种系统中的代理之间的协商是根据预先确定的启发式规则实现的，不够智能，无法应对多品种小批量生产。本研究为智能车间提出了一种基于大规模语言模型（LLM）的多代理制造系统。该系统定义了各种代理，并规定了它们的合作方式。

素描是一种应用广泛的有效工具，包括产生创意和解决问题。由于素描能直接传达无法用语言表达的视觉和空间信息，因此从古代岩画到现代建筑图纸，素描在世界各地被用于各种用途。儿童用它来解决几何问题，工程师用它来解释原型，建筑师用它来绘制蓝图，甚至科学家也用它来传达复杂的概念和实验结果。多模态语言建模的最新进展主要集中在通过绘制所谓的 "中间草图 "来简化推理的任务上。在涉及几何或复杂数学问题等主要基准测试中，模型会收到图表图像，并回答需要符号或空间理解的问题。

大数据和计算能力的飞速发展使得 ChatGPT 和 GPT-4 等大规模语言模型在商业和学术界都备受关注。与此同时，多模态大规模语言模型也在迅速发展，包括 GPT-4V、Gemini、Claude-3 以及开源模型 LLaVA 和 Mini-GPT。为了评估这些模型对视觉信息的解释能力，已经创建了各种评估基准，但仍然缺乏对 "文本密集图像中的图表 "的研究。本文评估了多模态大规模语言模型生成有效渲染图像的代码的能力，并展示了它们在多模态理解和推理方面的能力。

大规模语言模型可以生成媲美专业作家撰写的文本。目前使用的对话技术主要有两种：一种是交互式（如 OpenAI 的 ChatGPT 和 Google 的 Gemini），另一种是预测性文本补全（如 GitHub Copilot）。这些技术在许多任务中表现出色。然而，另一方面，在写作中，它们将部分或全部的创造性决策留给了系统。

视频是一种非常强大的交流和讲述故事的媒介。随着社交媒体和视频共享平台的出现，视频的受欢迎程度直线上升，许多人都在制作和分享自己的内容。然而，对于初学者来说，视频编辑可能很难，也可能是一大障碍。对于那些不习惯在规划阶段就构思视频的人来说，这是一项特别困难的任务。此外，剪辑过程需要大量细致的工作，如选择片段、修剪和创建序列，除此之外，还需要各种技能来创建一个想象中连贯的故事。此外，要完成这些任务，不仅需要学习如何使用多功能、复杂的剪辑软件，还需要手工操作和讲故事的技巧。

自然语言推理（NLI）是一项识别两个句子之间语义关系的任务。第一个句子称为 “前提”，第二个句子称为 “假设”。传统的自然语言推理数据集包括 SNLI、MNLI、SICK 和 ANLI，它们将假设分为三类：暗示、与前提相矛盾或与前提中立。这些数据集不仅被用作自然语言理解（NLU）的基准，还被用于事实检查和假新闻检测等下游任务。它们还促进了表征学习、迁移学习和多任务学习的进步。然而，由于这些数据集中的样本主要来自普通领域，它们并不能充分反映科学领域的语言特性。

大规模语言模型（LLMs）因其解决自然语言任务的能力而备受关注，在某些任务中，其准确性甚至可媲美人类。这些模型在翻译、代码编写和通过专业考试等各种任务中表现出色，并被用于知识提取、想法生成以及数据处理和比较。大规模语言模型在问题解答（QA）任务中也取得了成功，在这些任务中，自然语言为问题提供了类似于人类的答案；在 QA 中对大规模语言模型的评估已经证明了其有用性。它已被证明是有用的。

近年来，机器学习模型在各个领域越来越受欢迎。学术界和工业界都投入了大量精力来提高机器学习的效率，以期实现人工通用智能（AGI）。其中，大规模语言模型（LLM）等生成模型的巨大进步彻底改变了自然语言处理（NLP）领域。大规模语言模型在理解和生成类人文本方面表现出了非凡的能力，已成为机器翻译、常识推理和编码任务等各种自然语言处理任务中不可或缺的工具。最近的一项突破，即上下文学习（ICL），通过在推理过程中获取特定任务的知识，进一步提高了大规模语言模型的适应性，从而减少了对大量微调的需求。

化学是一门基础科学，支撑着现代生活的许多方面，包括药物发现、材料科学和能源生产。为促进该领域的研究和应用，图神经网络和变压器模型等深度学习模型已被应用于各种化学任务，如反应预测、逆合成和性质预测。然而，这些模型往往是针对特定任务的模型，很难适应不同的任务。另一方面，GPT-4、Llama 系列和 Mistral 等大型语言模型已成为通用基础模型，并在自然语言处理任务中显示出巨大的能力。然而，当应用于化学任务时，它们的能力仍然有限。

为了发现新催化剂，有必要找到化学描述符（特性）的最佳组合。然而，这些往往是基于经验法则。化学家们在头脑中推理反应物、催化剂和操作条件的组合，以实现更节能的化学转化。在一项研究（Nørskov 等人，2011 年）中，利用化学描述符将微观表面性质与宏观催化性能联系起来，被认为是快速提出新假设的关键。大型语言模型可以实现这种数据驱动的自主探索，加速科学发现。本文旨在利用量子化学反馈增强自然语言推理能力，以发现目标反应的最佳催化剂。

大规模语言模型（如 Llama、Gemini 和 GPT-4）的最新进展因其卓越的自然语言理解和生成能力而备受关注。对这些模型进行评估对于确定其局限性和潜力以及促进进一步的技术进步非常重要。为此，人们提出了一些特定的基准来评估大规模语言模型的各种技能。这样可以完成更复杂的任务。与此同时，大规模语言模型在科学研究中发挥着越来越重要的作用。特别是在科学文献分析方面，大规模语言模型已在文献总结和知识提取等应用中得到实际应用，提高了研究人员的工作效率。

大规模语言模型是一种机器学习模型，通过学习大量文本来生成文本。这些模型的能力正在迅速提高，现在已经可以通过美国国家医学考试。它们还可以与网络搜索和合成规划器等工具结合使用，自主设计化学反应和进行实验。一些人认为这些模型是 “人工通用智能（AGI）的标志”，而另一些人则认为它们是 “随机鹦鹉”。换句话说，它们被认为是简单的系统，只是重复它们所学到的东西。然而，大规模语言模型已显示出解决各种未明确学习任务的能力，而且经济利益和投资正在迅速增长：到 2032 年，该领域的市场价值预计将超过 1.3 万亿美元。

迄今为止，教育领域的自然语言处理（NLP）主要集中在简答题评分和自由文本作文评分方面。然而，本文从一个新的角度出发，研究了自动长答卷评分（ALAG）这一相对尚未开发的领域。对自由文本文章的评估是根据其连贯性和原创性等特点，而长文本作答则是事实性的，需要更复杂的评分方法。传统的自动简答评分法（ASAG）将作答分为五类：正确、部分正确、不一致、不相关和超出领域，但长篇作答可能同时表现出多个类别的特征，因此五类不足以对长篇作答进行评分。

大规模语言模型是基于转换器的基础架构模型，已被部署到各种服务中，并引起了广泛关注。然而，这些基于转换器的大规模语言模型虽然经过大量数据的训练，但在某些方面可能不够准确。目前的研究表明，增强大规模语言模型的工具可以弥补这些不足，提高解决问题的效率。研究还表明，通过为特定任务提供提示，可以提高模型生成文本的质量和速度。Parisi 等人提出的 TALM（工具增强语言模型）框架就是这些技术的结合体。该框架在既定任务上比现有模型取得了更好的性能。

讽刺是一种幽默，它通过讽刺和夸张来批评人、社会和政治，是提出问题和鼓励批判性观点的有力工具。尤其是社交媒体上经常发布的讽刺图片，通过呈现对比鲜明的场景来表达讽刺和幽默。然而，要理解这些对比场景，需要图像中的物体之间的互动，有时还需要文字，以及常识和推理技能。以往的研究已经提出了检测文本、图像或两者结合中的幽默和讽刺的方法，但还没有在 “检测”、"理解 "和 "制作成品 "等多个任务中对讽刺进行全面评估。本文提出了三项任务来评估对讽刺作品的理解能力1. 漫画检测：这项任务是确定给定图像是否是讽刺画。

自大规模语言建模服务推出以来，由于其实用性强，已被许多公司和个人所使用。但与此同时，确保大规模语言模型的安全性已成为模型开发者和监管者面临的重要问题。近年来，研究人员和从业人员发现，迫切需要新的数据集来评估和提高大规模语言模型的安全性。已有许多研究报告。然而，由于安全性是多方面的，并取决于具体情况，因此并没有明确的定义。因此，由于这种复杂性，用于评估安全性的数据集多种多样，发展迅速。例如，仅在 2024 年 1 月至 2 月间，就发布了许多数据集来评估各种风险。

虽然大规模语言模型发展迅速，但对其进行评估却变得越来越困难。人们在短时间内建立了许多基准来评估大规模语言模型的性能，但这些分数并不一定反映真实世界的性能。此外，还有人指出，这些基准数据集可能受到预处理和微调过程的污染。例如，对 Llama-2 的污染分析（Touvron 等人，2023 年）发现，在大规模多任务语言理解（MMLU）测试样本中，有超过 10% 的样本受到污染。另外，GPT-4 技术报告（OpenAI，2023 年）发现，HumanEval 有 25% 的训练数据受到污染。

小分子由于能够与特定的生物靶点结合并调节其功能，因此在药物发现领域发挥着至关重要的作用。根据美国食品和药物管理局（FDA）过去十年的审批记录，小分子药物占所有获批上市药物的 76%。小分子药物的特点是合成相对容易，生物利用度高，易于到达预定靶点。然而，设计具有理想特性的分子非常困难，需要耗费大量的资源和时间。例如，找到一种有效的药物需要 9-12 年的药物开发过程和数十亿美元。寻找新分子的范围非常广泛，可合成的药物分子多达 1060 种。因此，对于化学家来说，确定与生物靶标相互作用的分子是一项重大挑战。

随着大规模语言模型的兴起，自然语言处理领域取得了重大发展。这些创新的模型允许用户通过输入简单的 "提示 "文本来执行各种任务。然而，众所周知，在问题解答（QA）任务中，用户在处理长文本时会面临信息 "丢失 "的问题。最近，支持超长语境的大规模语言模型已经发布，如 GPT-4 Turbo 和 Claude-2.1，它们分别支持 128k 和 200k 标记的语境窗口。虽然这些大规模语言模型支持长上下文，但当输入提示非常长时，它们的响应质量往往会下降；

近年来，大规模语言模型因其能够根据人类指令自动生成大量高质量文本而备受关注。特别是 2022 年底发布的 ChatGPT 3.5，因其聊天界面的易用性而迅速走红。目前，学术交流领域正在积极讨论如何使用它。而最初的期望也逐渐让人们对其能力和局限性有了更深入的理解和认识。根据 2023 年底进行的一项调查，30% 的研究人员使用大规模语言模型准备稿件，许多出版商也开始提供使用指南；Wiley 等出版商允许使用这些工具，只要作者完全负责并明确披露其使用情况。

心理健康是公共卫生最重要的领域之一。根据美国国家精神卫生研究所（NIMH）的数据，到 2021 年，22.8% 的美国成年人将患上某种形式的精神疾病。在全球范围内，精神疾病占非致命性疾病负担的 30%，并被世界卫生组织确定为导致残疾的主要原因。此外，据估计，抑郁症和焦虑症每年给全球经济造成 1 万亿美元的损失。这些数据表明，预防和管理心理健康问题是多么重要。语言交流是心理健康管理的重要组成部分，包括症状评估和谈话治疗。自然语言处理（NLP）是计算机科学的一个分支，它能以有意义的方式处理自由形式的文本信息。

谷歌的 Gemini Ultra（2023 年）和 OpenAI 的 GPT-4 （2023 年）等大规模语言模型在许多任务中都表现出了令人印象深刻的性能。然而，这些模型不仅推理成本高昂，而且运行于数据中心，而数据中心并非本地环境，无法获得私人数据。另一方面，可以在私人环境中运行的模型，如 Gemini Nano，可以在用户的设备上运行，但其性能有限。为了在私密环境中实现最先进的性能，需要本地模型具有隐私保护机制，可以在不共享敏感数据的情况下向远程模型发送查询。

随着技术以令人眼花缭乱的速度发展，使人机交互更加顺畅比以往任何时候都更加重要。为了应对这一挑战，一个新领域应运而生：人机交互（HRI）。有效的人机交互被认为是实现技术效益的关键。用户体验（UX）是指机器对用户的影响–易用性、直观性、实用性以及交互过程中的挫折程度。确保良好的用户体验对于机器人为我们的日常生活带来实质性价值至关重要。软银机器人公司（Softbank Robotics）推出的著名仿人社交机器人 Pepper 以其多样化的交互功能而闻名。

由于应用范围广泛，化学领域在材料合成和药物开发方面发挥着尤为重要的作用。对新材料的研究促进了能源、环境科学和纳米技术的发展，也为新药物的开发和生命科学的进步做出了重要贡献。然而，尽管已经积累了大量的化学反应数据，但如何有效利用这些数据来发现新的反应方案，并将其用于材料合成和药物开发，仍是一个挑战。因此，人工智能的应用备受关注。人工智能可以从大量现有数据中学习并预测新反应的结果，从而识别反应特征和模式。这使化学家能够快速筛选和评估各种反应条件，优化合成途径。

大规模语言模型的出现正在从根本上改变技术开发和研究的方式。大规模语言模型不仅对自然语言处理领域产生了重大影响，而且对许多相关领域也产生了重大影响，例如从文本生成图像的计算机视觉（Zhang 等人，2023 年）。因此，将大规模语言模型的能力融入各行各业的工作正在加速进行。例如，医疗保健（He 等人，2023 年）、法律（Dahl 等人，2024 年）、金融（Wu 等人，2023 年a）和软件工程（Fan 等人，2023 年）领域的任务自动化。其中值得一提的是将大规模语言建模应用于材料科学。

生成模型的进步对推荐系统的发展产生了重大影响。传统的推荐系统是 “狭隘的专家”，只能捕捉特定领域内的用户偏好和项目特征，而现在生成模型增强了这些系统的功能，据报道，其性能优于传统方法。这些模型为推荐的概念和实施带来了创新方法。当前的生成模型能够学习和采样复杂的数据分布，其中包括文本和图像内容以及用户和项目交互历史。这样就可以利用这些数据模式来完成新的交互式推荐任务。

大规模语言模型的出现是提高病人护理质量和临床操作效率的一个重大突破。大规模语言模型拥有数百亿个参数，通过海量文本数据训练而成，能够生成类似人类的反应并执行复杂的任务。这在改进临床文档、提高诊断准确性和管理病人护理方面显示出巨大的潜力。然而，像 ChatGPT 和 GPT-4 这样的大规模语言模型是封闭的，很难针对医疗保健领域所需的特定情况进行定制。为解决这一问题，近年来开发了开源大规模语言模型。开源大规模语言模型是一种很有前景的解决方案，它提供了无限的访问权限，并可根据医疗保健领域的特定需求灵活定制。

由于情绪在人机交互中扮演着重要角色，因此情绪识别备受研究人员关注。目前的情感识别研究主要集中在两个方面：一是识别刺激物引起的情感，并预测观众观看这些刺激物后的感受。另一个方面是分析图像和视频中的人类情绪。在本文中，这些任务统称为广义情感识别（GER）。情绪可以通过文字、音频和视频等不同方式传达。其中，视觉信息（如色彩、亮度、面部表情、人类行为）包含丰富的情绪相关内容，在广义情绪识别任务中发挥着重要作用。为了提高视觉理解能力，研究人员提出了各种算法，并取得了显著进展。

心理保健是现代社会一个日益严重的问题。例如，在日本，自杀是 10-39 岁人群的首要死因。此外，根据世界卫生组织（WHO）的数据，自杀是全球年轻人的首要死因。在此背景下，通过短信应用程序提供心理支持的短信咨询正备受关注。与电话或电子邮件咨询相比，文本咨询的优点是更容易获得，尤其是对年轻一代而言，心理障碍较少。然而，目前缺乏有经验的辅导员。即使是那些有面对面、电话或电子邮件咨询经验的人，如果没有适当的指导和培训，也很难提供文本咨询。此外，能够提供这种适当指导的人员也很缺乏。

知识图谱（KG）凭借其强大的表现力，已被应用于关系发现、问题解答和推荐系统等多个领域。然而，尽管知识图谱规模庞大，但其本身并不完整，人工知识收集永远不够。因此，知识图谱补全（KGC）作为一种发掘额外信息以扩展知识图谱的策略备受关注。而作为 KGC 的核心，链接预测（LP）致力于在现有知识的基础上提取新的可靠知识，它在很大程度上得益于机器学习（ML）技术。本文提出了一种新颖的方法，通过将人类洞察力与知识图谱嵌入（KGE）领域的先进技术相结合来提高 LP 任务的性能。

近年来，大规模语言模型已显示出惊人的能力，可以从少量样本中学习。然而，这种能力需要昂贵的大规模模型，其运行成本是一大挑战。此外，在推理过程中，需要对所有测试输入的上下文（包括演示）进行串联，从而增加了计算负担。为了解决这个问题，目前正在探索利用大规模语言模型来开发小规模语言模型的方法。以往的工作是通过在大规模语言模型中生成基于少数几次演示的新数据，然后使用该数据集对预先训练好的小规模语言模型进行微调，从而实现高效的少数几次学习。这样，小规模模型就可以离线部署，而无需查询大规模语言模型，从而提高了推理效率。

这涉及推导中的错误计算，并没有得出正确的值。具体来说，它在准确度@t1 和准确度@t2 两方面的性能都高于其他方法，尤其是在 Delta（t1，t2）方面，提高了 4.4%。特别是，将错误的第一次回答更正为正确答案的比例增加了，错误更正的次数减少了。在这种方法中，模型首先生成一个响应 (y₁)，作为第一次试验，然后利用 "可选外部输入 § "进行自我修正，生成一个改进的响应 (y₂)。例如，对于数学或编程问题，即使初始解不正确，SCoRe 也能检测出模型本身的错误，并在下一次尝试中得出更准确的解。

传统的搜索引擎主要只处理文本，因此很难充分搜索和处理图像与文本相结合的信息。例如，网站通常会显示图像和文本的复杂交集，但目前的人工智能搜索引擎无法有效处理此类内容。为了解决这个问题，研究人员开发了一个名为 MMSEARCH-ENGINE 的系统。该系统旨在提供可应用于任何 LMM 的多模式搜索功能。它能让 LMM 响应更复杂的搜索要求，利用图像信息和文本搜索。实际的网络搜索过程涉及一系列步骤，包括将用户问题转换成更适合搜索引擎的格式，对搜索结果进行重新评估和排序，最后以摘要的形式呈现这些信息。