- 博客(471)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 简单记录一下ubuntu的一些安装指令
文章目录1、安装、升级pip32、安装git3、安装opencv-python4、安装tensorflow-cpu5、安装ipython6、安装matplotlib7、安装imageio8、安装scipy9、安装redis10、安装freetype在这里做个记号，以后需要直接过来看看1、安装、升级pip3sudo apt-get install python3-pipsudo pip3 i.........
2019-07-24 18:26:19
5950
1
原创 ubuntu14.04+cuda+cudnn+tensorflow-gpu+caffe等深度工具安装小结
最近一直装系统，装系统，还是多卡GPU的，并且显示器接受不到显卡的输出，也就是高清线没办法从显卡上接到显示器上，为啥呢？我也不知道，总之就是没信号，无奈只能从集显上接 普通线到显示器上，以前装过1080ti显卡驱动，也做过笔记http://blog.csdn.net/hjxu2016/article/details/69072779，当时在线安装出现循环登陆问题，只好选择下载run文件安装，这样安
2017-11-30 09:59:47
1826
原创 【LangChain入门 9 Agent 】LangChain开发Agent智能体
Agent是使用LLM作为推理引擎的系统，用于确定应该采取哪些行动以及这些行动的输入应该是什么。然后可以将这些行动的结果反馈给代理，并确定是否需要更多行动，或者是否可以结束。
2025-03-29 17:10:32
773
原创 【LangChain入门 8 】基于RAG实现文档检索与问答
我们需要一个地方来存储和索引我们的分割（splits），以便后续可以对其进行搜索。如果你想构建能够对私有数据或模型介质日期后引入的数据进行推理的人工智能应用，你需要用特定信息来增强模型的知识。大语言模型可以对广泛的主题进行推理，但它们的知识仅限于训练时截止日期前公开的数据。检索适当信息，并将其插入模型提示的过程被称为检索增强生成(RAG)。：ChatModel使用包含问题和检索到的数据的提示来生成答案。除了文档检索外，还结合的大语言模型进行了增强。这里仅仅搜索最相近的向量，仅有文本搜索的功能。
2025-03-29 15:03:40
535
原创 【LangChain入门 7 】消息管理与聊天历史存储
是 LangChain 中用于为链（Chain）添加消息历史记录（即聊天记忆）的类。它通过包装另一个 Runnable 对象，并管理其聊天消息历史记录，从而实现对话状态的持久化。参数runnable：需要包装的底层 Runnable 对象。：一个可调用对象，根据 session_id 返回一个的实例。input_key：指定输入字典中用于获取最新消息的键，默认为 “input”。：指定输入字典中用于获取历史消息的键，默认为 “history”。output_key。
2025-03-24 15:01:48
893
原创 【LangChain入门 6 Chain组件】单链和多链
LangChain 提供了强大的多链功能，允许用户通过组合多个链（Chain）来实现复杂的任务。这些链可以按顺序执行，也可以并行执行，从而实现高效的模型协作和协调
2025-03-20 14:27:10
398
原创 【LangChain入门 4 Prompts组件】提示词追加示例 FewShotPromptTemplate和示例选择器ExampleSelector
提示词中包含交互样本的作用是为了帮助模型更好地理解用户的意图，从而更好地回答问题或执行任务。小样本提示模板是指使用一组少量的示例来指导模型处理新的输入。 这些示例可以用来训练模型，以便模型可以更好地理解和回答类似问题。
2025-03-20 10:30:01
1086
原创 【LangChain入门 2 Model组件】开始！LLM Models简单对话
实现一个helloworld，跑通一个简单的对话。后面章节会正式介绍LangChain的各个功能。后台llm的端口可以任意选择，这里分别借助Ollama 和OpenAI实现一次简单的对话。
2025-03-19 15:51:15
222
原创 【LangChain入门 1】安装
本学习系列以Ollama推理后端作为大语言模型，展开对LangChain框架的入门学习。模型采用。毕竟是免费开源的，下载过程耐心等待即可。如果可以连接外网，也可以通过OpenAI，来建立LLM模型。
2025-03-19 15:38:50
486
原创 【conda activate无效】 conda: error: argument COMMAND: invalid choice: ‘activate‘
conda activate失效了activate已经从conda命令中移除了。
2025-03-18 19:12:19
349
原创 【 MySQL 学习3】查询
注意： 在所有的数据库当中，字符串统一使用单引号括起来。单引号是标准，双引号在oracle数据库中使用不了。但是在mysql中可以使用。注意：只是将显示的查询结果列名显示为新名字，原列表名还是叫原来的。select是永远不会做修改操作的，因为只负责查询。可以在命令窗口中快速看一下全表数据可以采用这种方式。使用as关键字起别名，as关键字可以用空格代替。缺陷：效率低，可读性差，在实际开发中不建议。不是将表中所有数据都查出来，是查出符合条件的。如找出第二个字母是A的。
2025-01-17 13:29:23
496
原创 【 MySQL 学习2】常用命令
凡是带有create、drop、alter的都是DDLcreatedropalterDDL主要操作的是表的结构，不是表中的数据。
2025-01-17 10:23:14
309
原创 【 MySQL学习1】简介
英文单词DataBase， 简称DB。按照一定格式存储数据的一些文件的组合。存储数据的仓库，实际上就是一堆文件，这些文件中存储了具有特定格式的数据。
2025-01-16 16:37:49
313
原创 【Transformers实战篇2】练习之命名实体识别
命名实体识别（Named Entity Recognition， 简称NER）是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：① 实体边界识别 ② 确定实体类别（人名、地名、机构名或其他）例：“小明在北京上班”实体类别实体地点北京人物小明。
2024-09-27 16:10:53
884
原创 【Transformers基础入门篇7】基础组件之Trainer
Trainer是库中提供的训练的函数，内部封装了完整的训练、评估逻辑，并集成了多种的后端，如等，搭配对训练过程中的各项参数进行配置，可以方便快捷地启动模型 单机/分布式训练使用Trainer进行模型训练对模型的输入输出是有限制的，要求模型返回元组或者的子类如果输入中提供了labels，模型要能返回loss结果，如果是元组，要求loss为元组中的第一个值。
2024-09-25 15:22:16
1222
原创 【Transformers基础入门篇6】基础组件之Evaluate
evaluate库是一个非常简单医用的机器学习模型评估函数库，只需要一行代码，便可以加载各种任务的评估函数。
2024-09-25 13:54:36
574
原创 【Transformers基础入门篇5】基础组件之Datasets
dataset库是一个非常简单易用的数据集加载库，可以方便快捷的从本地或者HuggingFace Hub加载数据集公开数据集地址：# filed 指限定某个字段的数据。
2024-09-24 15:54:41
1670
原创 【Transformers基础入门篇4】基础组件之Model
既然这个包的名字叫Transformers，那么大部分整个模型都是基于Transformer架构。原始的Tranformer为编码器(Encoder)、解码器（Decoder)模型Encoder部分接收输入并构建其完整的特征表示，Decoder部分使用Encoder的编码结果以及其他的输入生成目标序列无论是编码器还是解码器，均由多个TransformerBlock堆叠而成TransformerBloc由注意力机制（Attention）和FFN组成。
2024-09-23 17:30:07
1332
原创 【Transformers基础入门篇3】基础组件之Tokenizer
在过去，自然语言预训练模型出来前，做NLP，数据预处理是比较麻烦的，一般有以下几个步骤。step1 分词： 使用分词器对文本数据进行分词（字、字词）step2 构建词典：根据数据集分词的结果，构建词典映射（这一步并不绝对，如果采用预训练词向量，词典映射要根据词向量文件进行处理）step3 数据转换：根据构建好的词典，将分词后处理的数据做映射，将文本序列转换为数字序列step4 数据填充与截断。
2024-09-23 15:30:09
1623
原创 【Transformers基础入门篇2】基础组件之Pipeline
将数据预处理、模型调用、结果后处理三部分组装成的流水线，如下流程图使我们能够直接输入文本便获得最终的答案，不需要我们关注细节fill:#333;color:#333;color:#333;fill:none;color:#333;color:#333;fill:none;我觉得不太行。
2024-09-23 14:09:31
1738
1
原创 【Transformers基础入门篇1】基础知识与环境安装
HuggingFace出品，最常使用的自然语言处理工具实现了大量基于Transformer架构的主流预训练模型，并且不局限于自然语言处理模型，还包括图像、音频以及多模态的模型提供了海量的预训练模型与数据集，同时支持用户自行上传、社区完善，文档全，上手简单Tranformers：核心库，包括了模型加载、模型训练、流水线（pipeline）等Tokenizer：分词器，对数据进行预处理，文本到token序列的相互转换Datasets：数据集库，提供了数据的加载、处理等方法。
2024-09-23 11:21:39
1087
原创 大模型训练框架DeepSpeed使用入门(1): 训练设置
大模型训练的痛点是模型参数过大，动辄上百亿，如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。对于更大模型的训练来说，DeepSpeed提供了更多策略，例如：Zero、Offload等。本文简单介绍下如何使用DeepSpeed。
2024-05-10 17:16:39
5526
原创 【Pytorch API笔记9】用torch.distributed.barrier()进行同步操作
当一个进程调用 torch.distributed.barrier()时，这个进程将会被阻塞，知道所有进程都调用了。torch.distributed.barrier()是一个同步操作，通常用在分布式训练中，同步不同进程的操作。torch.distributed.barrier()，然后会同时解除所有阻塞，几乎执行后续的操作。
2024-05-08 15:19:58
894
原创 【异常检测论文阅读 1】EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies
检测图像中的异常是一个重要的任务，特别是在实时的计算机视觉应用中提出了一种轻量级的特征提取器，可以在现代GPU上不到一毫秒的时间内处理图像使用学生-教师的方法来检测异常特征训练一个学生网络来预测提取的正常特征，在测试时，通过学生不能预测异常特征来检测异常。提出了一个训练损失，可以阻止学生模仿教师的特征提取器提取正常图像之外的特征（也就是，学生网络只能提取正常特征，提取不了异常特征，这样就可以把异常特征差分出来）能够大大降低了学生-教师模型的计算成本，同时提高了对异常特征的检测。
2024-04-17 14:57:04
2810
1
原创 Annaconda的替代品miniforge！
用了多年的Annaconda竟然要收费了（个人不收费，企业收费，但个人电脑在企业IP下，还是被警告了），只能用miniforge 全面替换了！
2024-04-02 11:07:38
11448
6
原创 CUDA库之nvjpeg(一)：入门介绍
nvJPEG 库提供了高性能，GPU加速的JPEG图像格式的解码函数，并且普遍应用在深度学习领域和超大规模的多媒体应用中。这个库提供单张图或者多张图同时解码的能力，可以充分利用GPU资源和优化效率，并且使用者也可以管理需要解码的内存，灵活性还是比较强的。使用JPEG图像数据流作为输入从数据流中获取图像的宽和高使用以上获取的信息来管理GPU内存并执行解码操作nvJPEG提供了专用的API，用于从原始JPEG图像数据流中检索图像信息。
2024-03-27 14:26:41
2795
原创 【Pytorch API笔记9】用torchnvjpg加速图像解码
骚操作之，opencv读取图像太慢了，图像的加载与解码都直接用cuda，提高加载的效率。
2024-03-21 10:34:49
484
1
原创 【闲读 7】如何发现单一要素、错位竞争、如何提高组合成功率
单一要素是指与企业相关的关键要素当外部关键要素发生十倍速变化，可能会导致战略转折点；单一要素最大化：识别外部十倍速变化关键要素，聚焦与之相关的内部关键要素，重度投入资源，击穿阈值。
2023-12-22 14:47:15
1168
原创 【闲读 6】单一要素：抓重点，知道解决问题突破口
如果某个单一要素发生十倍速变化，就是这条曲线即将产生破局点的标注。任何破局点都有临界值，只有突破临界值，才能击穿破局点。想要突破临界值，必须把力量集中到一个点。这种方法叫做单一要素最大化，即聚焦第一曲线的某一个核心要素，重度投入资源，把它变成第二曲线的全部。 如何判断破局点？找到单一要素十倍速变化？
2023-12-22 14:20:10
1164
原创 【闲读4】组合创新：拆与组，发现解决问题的新方向以及组合创新应用落地四步法
当我们想起“创新”，我们通常会把它和“发明”、“技术”、“创造”联系在一起，我们通常以为“创新”是把一些东西从无到有做出来，才叫做创新，这是对创新的严重误解。其实真正的创新叫“组合式创新”。什么是组合式创新？如何进行组合式创新？
2023-12-22 14:00:17
1806
原创 ubuntu升级NVIDIA驱动，遇到ERROR: An NVIDIA kernel module ‘nvidia-uvm‘ appears to already be loaded in your
报错1：ERROR: An NVIDIA kernel module ‘nvidia-uvm’ appears to already be loaded in your kernel报错2：ERROR: An NVIDIA kernel module ‘nvidia’ appears to already be loaded in your kernel2. 卸载对于的模块遇到rmmod: ERROR: Module nvidia_uvm is in use4. nvidia 这个模块一直开着
2023-12-21 13:24:09
4884
原创 【闲读 2】第一曲线
就是现有战略依然有效，企业业绩仍然在上升，客户和互补企业仍在交口称赞，然后雷达屏幕上却已经出现了值得注意的闪光点的时刻。任何组织随着时间的推移，都会变得组织熵增化，一定会变得涣散化、官僚化、失效化，并最终走向消亡。一线、两点（破局点、极限点）、三阶段（下降、上升期、快速上升期稳定上升期、破局点下降）破局点、极限点（在技术发展的过程中，总会遇到极限出现的那一刻，无可避免）技术、产品、公司、产业、国家发展，有巨大的解释和预测力量。97%的人、97%的时间，都是连续性创新。混沌学院课程《第一曲线》，观后感。
2023-12-14 20:39:33
230
dukto_6.0-1_amd64.zip
2021-10-18
RDPWrap-v1.6.1.zip
2019-11-12
数字图像处理第三版所有图片,已转化成24为bmp格式
2018-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人