TechBeat人工智能社区-CSDN博客

原创 Talk｜新加坡国立大学赵轩磊：Pyramid Attention Broadcast - 通向视频模型的实时生成

本期为TechBeat人工智能社区第612期线上Talk！北京时间7月25日(周四)20:00，新加坡国立大学博士生—赵轩磊的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“Pyramid Attention Broadcast - 通向视频模型的实时生成”，他向大家介绍了能够实现实时视频生成的算法PAB，它可以在几乎不损失质量的前提下大幅提升效率，且无需额外训练。这一突破性进展为视频生成技术的实际应用开辟了新的可能性。

2024-07-26 12:00:00 796

原创 Talk｜上海交通大学庞祥鹤：大模型社会模拟器MATRIX，价值对齐胜过GPT4

本期为TechBeat人工智能社区第611期线上Talk！北京时间7月24日(周三)20:00，上海交通大学博士生—庞祥鹤的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“大模型社会模拟器MATRIX，价值对齐胜过GPT4”，他向大家介绍了一种能够模拟语言模型答案的社会影响，并允许语言模型在模拟社会中自我评估并修正行为的社会模拟器MATRIX。该工作已入选ICML 2024Spotlight。

2024-07-25 12:00:00 1156

原创 Talk｜UW-Madison蔡沐：图像可编码为任意数量Token，俄罗斯套娃式多模态大模型

本期为TechBeat人工智能社区第535期线上Talk！北京时间9月28日(周四)20:00北京大学图灵班大四本科生—耿浩然的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“基于视觉的通用灵巧手抓取”，介绍了他们提出的一种旨在解决灵巧抓取的强泛化问题通用的灵巧手抓取算法。

2024-07-19 12:00:00 1163

原创 Talk｜OSU汪博石：Transformer模型能否进行隐式的推理？关于Grokking和泛化的深入探索

本期为TechBeat人工智能社区第609期线上Talk。北京时间7月17日(周三)20:00，俄亥俄州立大学博士生—汪博石的Talk已经准时在TechBeat人工智能社区开播！他与大家分享的主题是: “Transformer模型能否进行隐式的推理？关于Grokking和泛化的深入探索”，在本次Talk中，他系统性地研究Transformer是否可以获得隐式推理的能力。并通过一系列实验和对于模型内部的分析揭示了Grokking对于获得隐式推理能力的重要性，其背后的过程和原因，以及Transforme

2024-07-18 12:00:00 1137

原创 Talk｜清华大学袁天远：PreSight - 利用NeRF先验帮助自动驾驶场景在线感知

本期为TechBeat人工智能社区第605期线上Talk。北京时间7月3日(周三)20:00，清华大学博士生—袁天远的Talk已经准时在TechBeat人工智能社区开播！他与大家分享的主题是:“PreSight - 利用NeRF先验帮助自动驾驶场景在线感知”，他向大家介绍了新的感知框架PreSight，其通过构建城市级NeRF有效地从历史观测数据中提取先验知识，以帮助下游感知任务。该工作已入选ECCV 2024。

2024-07-14 16:00:00 1186

原创 Talk｜CityU 助理教授马佳葳: CVPR 2024, 基于多模态理解的混合数据专家模型

本期为TechBeat人工智能社区第604期线上Talk。北京时间6月27日(周四)20:00，香港城市大学助理教授—马佳葳的Talk已经准时在TechBeat人工智能社区开播！他与大家分享的主题是:“基于多模态理解的混合数据专家模型”，他向大家介绍了混合数据专家模型MoDE，在理解数据的基础上，通过分治法来指导多个小模型的训练，提升下游任务表现并降低训练成本。该工作已入选CVPR 2024 Oral & ICLR 2024 Spotlight。

2024-06-28 12:00:00 1085

原创 Talk｜北京大学PKU-DAIR余昭辰：从多模态理解到生成 - 从LLM到Diffusion Model

本期为TechBeat人工智能社区第603期线上Talk。北京时间6月26日(周三)20:00，北京大学PKU-DAIR实习生—余昭辰的Talk已经准时在TechBeat人工智能社区开播！他与大家分享的主题是: “从多模态理解到生成 - 从LLM到Diffusion Model”，在本次Talk中，他向大家介绍了PKU-DAIR课题组在大语言模型和扩散模型两个领域上的最新研究成果，并提出将LLM和Diffusion Model进行结合的新思路。

2024-06-27 12:00:00 1166

原创 Talk｜北京大学张嘉曌：NaVid - 视觉语言导航大模型

本期为TechBeat人工智能社区第602期线上Talk。北京时间6月20日(周四)20:00，北京大学博士生—张嘉曌的Talk已经准时在TechBeat人工智能社区开播！

2024-06-21 12:00:00 1779

原创 Talk｜香港科技大学冯宸：高效自主的大尺度场景空中覆盖与重建

本期为TechBeat人工智能社区第601期线上Talk。北京时间6月19日(周三)20:00，香港科技大学冯宸博士生—冯宸的Talk已经准时在TechBeat人工智能社区开播！他与大家分享的主题是: “高效自主的大尺度场景空中覆盖与重建”，他围绕团队在利用无人机进行大尺度场景下的快速自主覆盖与重建方面取得的进展和思考展开。该工作已入选ICRA 2024 Finalist for Best Paper Award on UAV。

2024-06-20 12:00:00 1819

原创 Talk｜新加坡国立大学贾鑫宇：适用于高自由度机器人的运动控制器

本期为TechBeat人工智能社区第600期线上Talk。北京时间6月13日(周四)20:00，新加坡国立大学博士生—贾鑫宇的Talk已经准时在TechBeat人工智能社区开播！他与大家分享的主题是: “适用于高自由度机器人的运动控制器”，向大家系统地介绍了如何通过三维表征的设计来帮助三维网格的重建与生成。

2024-06-14 12:00:00 953

原创 Talk｜CVPR‘24 Oral：超越3D - Point Transformer V3中的多模态特征提取新构想

在本次Talk中，我们将超越3D感知与表征的范畴，从多模态数据特征提取的角度介绍我们被接收为CVPR 2024 Oral的工作Point Transformer V3 (PTv3) 的思想与设计。点云作为3D表征与感知的基础模态，其本身也是高维度稀疏非结构化数据的代表。将图像的每一个像素视为点，图像本身也可被视为点云，这佐证了这类数据结构的普适性。本次Talk将通过PTv3的两个核心思想——骨干网络设计的规模准则与非结构化数据的序列化技术，探究3D点云骨干网络作为一种多模态泛用特征提取器的构想与挑战。

2024-06-13 12:01:43 1125

原创 CVPR 2024 | 长时舞蹈生成：数秒钟可生成极长的3D舞蹈

本文在现有扩散模型的基础上引入了一种全新的概念，称为“潜在透明度”（latent transparency），其可以将透明alpha通道编码到扩散模型的潜在分布中。这一过程可以通过调节添加在潜在空间的偏移量来实现，保证了原有大规模预训练扩散模型的高质量生成能力。作者还提出了一种人机交互训练集构建方法，提高了整体的训练效率。

2024-03-22 12:55:35 1240

原创 Talk｜Mila研究所&蒙特利尔大学刘圳：三维表征和三维网格的重建与生成

本期为TechBeat人工智能社区第580期线上Talk。北京时间3月21日(周四)20:00，Mila研究所&蒙特利尔大学博士生—刘圳的Talk已经准时在TechBeat人工智能社区开播！他与大家分享的主题是:“三维表征和三维网格的重建与生成”，向大家系统地介绍了如何通过三维表征的设计来帮助三维网格的重建与生成。

2024-03-22 12:00:00 738

原创 ICCV 2023 Oral | 人类语言演化中学习最优图像颜色编码

人类的语言是一种对复杂世界的高度简洁的编码，特别是语言中颜色的概念，成功地将原本极大的色彩空间（如256三次方真色彩空间）压缩至5到10种颜色。受此启发，来自上海交大，日本理化学研究所，东京大学的研究人员，提出全新的基于视觉任务的色彩量化（colour quantisation）技术，利用深度学习重现人类数万年的颜色概念的演化。这项技术不但能推进文化人类学的研究，更是为网络量化(neural network quantisation)以及多模态大语言模型提供坚实的研究基础。

2024-03-22 11:37:08 1209

原创北航&悉尼大学联合研发突破性高效AI技术：双重二值化方法重塑大型语言模型效率

文中介绍的DB-LLM模型通过结合柔性双重二值化（FDB）方法和偏差感知蒸馏（DAD）方法，有效提升了大型语言模型（LLM）在超低位量化情况下的性能和效率。FDB方法有效地结合了二值化的运算效率和2位量化的准确性，通过将2位量化的权重分割成两组1位二进制数，不仅保持了超低位量化的高稀疏性，还提高了权重的灵活表示能力。而DAD方法则针对超低位量化后模型的预测偏差问题，通过利用教师-学生模型的熵作为样本难度的指标，优先处理不确定性高的样本，实现了从全精度教师模型到量化模型的更平衡的知识转移。

2024-03-21 17:47:17 891 1

原创 Talk｜卡内基梅隆大学李博文：适用于机器人的可泛化的目标感知

本期为TechBeat人工智能社区第579期线上Talk。北京时间3月20日(周三)20:00，卡内基梅隆大学博士生—李博文的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“适用于机器人的可泛化的目标感知”，向大家系统地介绍了如何在有限的数据上学习到可泛化的，适用于机器人的目标感知模型。

2024-03-21 11:55:25 872

原创 Talk｜加州大学洛杉矶分校鲁盼：基于大型语言模型的多模态数学推理

本期为TechBeat人工智能社区第579期线上Talk。北京时间3月14日(周四)20:00，加州大学洛杉矶分校博士生—鲁盼的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“基于大型语言模型的多模态数学推理”，向大家系统地介绍了多模态的数学推理的进展和挑战。

2024-03-15 12:00:00 1013

原创 Talk｜麻省理工学院李晨昊：发展式腿足智能-从模仿到生成

本期为TechBeat人工智能社区第578期线上Talk。北京时间3月13日(周三)20:00，麻省理工学院博士生—李晨昊的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“发展式腿足智能-从模仿到生成”，向大家系统地介绍了专家示范(expert demonstrations)在机器人学中的作用，以及从受限演示中学习的三种创新方法，并展示它们在腿部机器人学中的成功应用。

2024-03-14 12:00:00 754

原创 CVPR 2024 | 从第一人称视角理解世界，多模态模型离我们还有多远？

该工作为考察多模态模型作为智能体或机器人大脑的潜力，提出了以第一人称为视角的视觉问答基准数据集——EgoThink。该数据集把模型的第一人称视角下的思考能力从六个维度进行拆解，并对每个能力维度进行了详尽的评测。评测结果显示，当前阶段的视觉语言大模型，包括GPT-4V，从第一人称视角进行思考的整体能力上还远未达到人类水平。

2024-03-13 12:00:00 1269

原创 ICLR 2024 | Meta AI提出ViT寄存器结构，巧妙消除大型ViT中的伪影以提高性能

在这项工作中，作者对 DINOv2 模型特征图中的伪影进行了详尽的研究，并发现这种现象存在于多个现有的流行ViT模型中。作者提供了一种简单的检测伪影的方法，即通过测量token的特征范数来实现。通过研究这些token的局部位置和全局特征信息，作者发现，这些token对于模型性能损失存在一定的影响，并提出了一种简单的寄存器方案（Registers）来将这些token附加到输入序列中。通过实验表明，这种方法完全消除了ViT特征图中的伪影，并且提高了模型在下游密集预测等任务上的性能。

2024-03-10 23:58:44 2591 1

原创 Talk｜上海交通大学&上海AI Lab：复杂图表推理多模态评测基准与基座模型

本期为TechBeat人工智能社区第577期线上Talk。北京时间3月7日(周四)20:00，上海交通大学博士生—夏纫秋以及上海人工智能实验室科研助理—叶涵诚的Talk已准时在TechBeat人工智能社区开播！他们与大家分享的主题是:“复杂图表推理多模态评测基准与基座模型”，向大家介绍了其团队在复杂图表推理方面所做的研究。

2024-03-08 13:15:43 674

原创 Talk｜加州大学圣地亚哥分校程旭欣：视觉反馈下足式机器人的全身操作与运动

程旭欣是UCSD的一年级博士生，导师是Xiaolong Wang，他的主要研究兴趣是足式机器人的全身控制。在 CMU 读机器人硕士期间，他的主要研究方向是利用强化学习实现四足机器人的全身控制，操作和运动, Deep Whole-Body Control 曾入围 CoRL 最佳系统论文, 导师为 Deepak Pathak。附加的机械臂完成自动抓取，视觉反馈下的极限运动能力都是很有价值的探索方向。期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

2024-03-07 12:31:41 1119

原创 Cute idea！LeCun点赞，扩散模型跨界神经网络参数生成

本文提出了一种使用扩散模型生成神经网络参数的框架p-diff，p-diff可以从传统的SGD优化器得到的参数出发，生成具有较大差异的高性能网络参数，这一点与先前训练模型的过程有很大的差别，因而其能够始终相比原始训练数据实现相似甚至更强的性能。此外，本文作者也提到，由于网络参数是与图像视频性质不同的信号，因此必须谨慎考虑处理这种区别，虽然p-diff现在仍然无法生成现代规模的大模型参数，但是在训练算力焦虑笼罩的今天，这种想法非常振奋人心。我们期望更加优秀的扩散模型参数生成框架的出现。

2024-03-04 09:45:00 1077

原创 Talk｜卡内基梅隆大学熊浩宇：Open-world Mobile Manipulation-开放世界机器人学习系统

本期为TechBeat人工智能社区第575期线上Talk。北京时间2月29日(周四)20:00，卡内基梅隆大学研究生—熊浩宇的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是:“Open-world Mobile Manipulation-开放世界机器人学习系统”，将向大家介绍了开放世界机器人系统硬件，数据收集到模型部署的全栈方法等相关研究。

2024-03-01 12:00:00 400

原创 Mamba与MoE架构强强联合，Mamba-MoE高效提升LLM计算效率和可扩展性

本文提出了一种将专家混合MoE技术与Mamba架构进行集成的模块，即MoE-Mamba。基于并行计算的天然优势，Mamba减轻了大模型中复杂循环顺序性质的影响，并且对硬件进行感知来实现参数扩展。Mamba相比普通注意力机制Transformer解决了序列模型中效率和有效性之间的基本权衡，强调了状态压缩的重要性。将Mamba与高度稀疏的MoE前馈层交错设置可以实现更高推理效率的LLM，但目前的组合方式仍然非常简单，作者也探索了一种局部并行的Mamba+MoE架构以实现更高的预测准确率和更稀疏的推理效果。

2024-03-01 11:01:31 1765

空空如也

空空如也