GPT
@TOC
前言刚进公司,需要学开发需要的新框架及现成框架,完成自己的需求。那么在此期间,遇到新东西,就可以以此为基础,学习新语言新框架新工具…,可能会学到一些新技术、新知识,总结一下,以供后面参考学习,查看。肯定大家都有一定差异啦,大家作为参考哦,与诸君共勉。
一、GPT的演进:1、在GPT-1诞生之前,大部分自然语言处理模型如果想要学习大量样本,基本上都是采用监督学习的方式对模型进行训练,这不仅要求大量高质量的标注数据,而且因为这类标注数据往往具有领域特性,很难训练出具有通用性的模型。2、为了解决这一问题,GPT-1的核心思想是将无监督学习作用于监督学习模型的预训练目标,先通过在无标签的数据上学习一个通用的语言模型,然后再根据问答和常识推理、语义相似度判断、文本分类、自然语言推理等特定语言处理任务对模型进行微调,来实现大规模通用语言模型的构建,这可以理解成一种半监督学习的形式。此外,GPT-1在训练时选用了BooksCorpus数据集来训练模型,它包含了大约7 000本未出版的书籍的文字,这种更长文本的形式可以更好地让模型学习到上下文的潜在关系。最终,GPT-1在多数任务中取得了更 ...
生成图像的大模型
@TOC
前言刚进公司,需要学开发需要的新框架及现成框架,完成自己的需求。那么在此期间,遇到新东西,就可以以此为基础,学习新语言新框架新工具…,可能会学到一些新技术、新知识,总结一下,以供后面参考学习,查看。肯定大家都有一定差异啦,大家作为参考哦,与诸君共勉。
一、Diffusion模型:
Diffusion模型实现思想:
Diffusion模型尝试使用一种更加简单的方法生成图像。大家是否记得老式电视机信号不好时屏幕上闪烁的雪花?这些雪花是随机、无序、混乱的,因而被称为噪声。当电视机信号不好的时候,屏幕上就会出现这些噪声点,信号越差就会出现越多的噪声点,直到最后屏幕完全被随机的噪声覆盖,图2-8就展示了这样一个在图像上增加噪声的演变过程。那么换一个角度去思考,既然任何一张图像都可以在不断添加噪声后,变成一张完全随机的噪声图像,那我们能不能将这个过程翻转,让神经网络学习这个噪声扩散的过程之后逆向扩散,把随机生成的噪声图像,逐渐转化为清晰的生成图像呢?
二、CLIP模型
CLIP模型是OpenAI在2021年初发布的用于匹配图像和文本的预训练神经网络模型。如果要实现相对优质的AI绘 ...
AIGC-机器学习-深度学习-强化学习-...(一)
@TOC
前言刚进公司,需要学开发需要的新框架及现成框架,完成自己的需求。那么在此期间,遇到新东西,就可以以此为基础,学习新语言新框架新工具…,可能会学到一些新技术、新知识,总结一下,以供后面参考学习,查看。肯定大家都有一定差异啦,大家作为参考哦,与诸君共勉。
一、pgc -> ugc -> aigc
最初的AIGC通常基于小模型展开,这类模型一般需要特殊的标注数据训练,以解决特定的场景任务,通用性较差,很难被迁移,而且高度依赖人工调参。后来,这种形式的AIGC逐渐被基于大数据量、大参数量、强算法的大模型(Foundation Model)取代,这种形式的AIGC无须经过调整或只经过少量微调(Fine-tuning)就可以迁移到多种生成任务。
不少元宇宙选择同时利用PGC和UGC的方式来丰富这些模型,无论是专业机构还是感兴趣的个人,都可以借助官方提供的编辑器来创作各种类型的3D物品模型,或者在创作好3D物品模型后导入元宇宙世界。
在此过程中,产生了一种很重要的位置,提示词(Prompt)工程师
提示词(Prompt)工程师这个“咒语”就是被用来激发创作与思考的提示词。提示 ...
人脸识别(一)
@TOC
前言刚进公司,需要学开发需要的新框架及现成框架,完成自己的需求。那么在此期间,遇到新东西,就可以以此为基础,学习新语言新框架新工具…,可能会学到一些新技术、新知识,总结一下,以供后面参考学习,查看。肯定大家都有一定差异啦,大家作为参考哦,与诸君共勉。
一、人脸识别小项目:
如果自己去做一个小项目,尝试一下,按照整体的工作流程,显示明确需求:
支持识别人脸的朝向
支持检测人脸的表情(高兴、厌恶、惊讶、伤心、愤怒、生气)
支持检测人脸属性(性别、年龄、穿戴)
支持检测是否睁眼闭眼
支持人脸以及鼻子、眼睛、嘴唇、眉毛等特征的坐标检测
支持多人脸同时检测
…
1.当其他团队还在“卷大模型”的时候,而百度已经快人两步:-
2.传统的三层IT技术栈架构:
芯片层
巨人的肩膀
周志明老师的凤凰架构
codesheep老师的公众号文章
项目开发总结之C#写了一个上位机页面,软件卡死了???
@TOC
前言刚进公司,需要学开发需要的新框架及现成框架,完成自己的需求。其中会遇到很多卡死等bug,Visual Studio每次执行到这个类中会进入执行catch、finally等,从而导致上位机软件卡死,总结一下,以供后面参考学习,查看。肯定大家都有一定差异啦,大家作为参考哦,与诸君共勉。
一、下面代码有bug,导致上位机软件一直卡1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162using ...using System.IO;namespace ....ChipFile{ public class ChipxxxOEFile : ChipxxxOEFileBase { public ChipxxxOEFile() : base() { } #region 公共方法 pu ...
Golang-web/http框架
@TOC
前言云时代已经逐渐到来,在工作中学习中,我们时不时会用到Go语言,那就开始学起吧,与诸君共勉。
Go(lang)提供了很好的net/http库,基于此再造框架比较简单快速,Go中常用的三个web框架【go所有的安装都是使用go get安装(类似于git-clone)】Gin
一个Gin框架的请求处理代码块固定格式:请求,处理请求的回调函数1234567891011121314151617package mainimport ( "github.com/gin-gonic/gin" "github.com/thinkerou/favicon" "net/http")func main() { //创建一个gin服务,结合访问地址+端口处理咱们的请求与响应 ginServer := gin.Default() ginServer.GET("/user/info", func(context *gin.Context){ . ...
Golang-练基本功:扎马步、练投篮、练运球
@TOC
前言云时代已经逐渐到来,在工作中学习中,我们时不时会用到Go语言,那就开始学起吧,与诸君共勉。
开发效率跟执行效率不能兼得比较
执行效率高,但是开发和编译低效:C++
执行效率低,但是编译效率高:.NET、Java
有较高执行速度、编译速度和开发速度:Go
Go1.5发布后,解决了广为诟病的GC时延问题【STM】,可以说Go语言在服务端开发方面,几乎抹平了所有弱点
Go是一个容器语言,是google29年发布的系统开发语言,基于编译、垃圾收集和并发的编程语言
Go的发展历程中的特殊点:
1.7的context
1.11的modules
1.13 的error嵌套
1.18:类型参数的实现,也就是俗称的泛型
基本语法:https://www.runoob.com/go/go-program-structure.html一个程序只能有一个main包,也得有一个main包。也就是说package main和func main必不可少变量
定义变量类型用:var,形式:var 变量名 变量类型1234567//定义单个变量:var 变量名 变量类型 = 符合类型的赋值内容/ ...
能不能给别人一个上手就能看懂就能用的三层神经网络(代码)模型呢?
@TOC
前言在工作中学习中,最新AI、神经网络等比较实用,没啥事了解一点呗,又不掉血不掉肉的,那就开始学起吧,与诸君共勉。
1、封装成一个独立且易于使用的神经网络模型
为了将提供的代码片段,我们需要首先引入必要的库,然后定义所需的激活函数(如sigmoid函数和恒等函数),最后将init_network()和forward()函数整合到一个类或模块中。
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849//这段代码首先导入了numpy库来处理数学运算,接着定义了两个激活函数:sigmoid函数和恒等函数。然后,我们创建了一个名为`SimpleNeuralNetwork`的类,它包含了网络的初始化和前向传播过程。在类的构造函数中,我们初始化了网络参数。在`forward`方法中,我们实现了前向传播算法。import numpy as np# 定义sigmoid激活函数def sigmoid(x): return 1 / (1 + np.exp(-x) ...
打破砂锅问-WPF原理-03-WPF样式设置和模板化、内联样式和模板
@TOC
前言做项目的时候,用到了WPF,总结下来,供以后参考,与诸君共勉。
一、WPF中的复用精神:内联样式和模板 Inline styles and templates
Windows Presentation Foundation (WPF) 提供了 Style 对象和模板对象(FrameworkTemplate 子类)作为定义资源中元素的视觉外观的方法,以便 用户可以多次使用它们 。
因此, 采用 Style 和 FrameworkTemplate 类型的 XAML 中的属性几乎总是对现有样式和模板进行资源引用,而不是定义新的嵌入式样式和模板。
1.嵌入式样式和模板的限制 Limitations of embedded styles and templates:
在 Extensible Application Markup Language (XAML) 中,样式和模板属性在技术上可通过两种方式进行设置
方式一:可以使用属性语法来引用已在资源中定义的样式
如 <objectStyle=”{StaticResourcemyResourceKey}” ...
打破砂锅问-WPF原理-02-WPF中的XAML
@TOC
前言做项目的时候,用到了WPF,总结下来,供以后参考,与诸君共勉。
一、XAML (Extensible Application Markup Language)1.Extensible Application Markup Language (XAML) 是一种用于声明性应用程序编程的标记语言:
Windows Presentation Foundation (WPF) 实现 XAML 处理器实现并提供 XAML 语言支持,怎么理解呢,其实呀:
XAML 根元素和 XAML 命名空间 XAML root element and XAML namespace
一个 XAML 文件只能有一个根元素,这样才能同时作为格式正确的 XML 文件和有效的 XAML 文件。
WPF 页的典型 XAML 文件的根元素,此根元素为 Page1234<Page xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:x="http://schemas.mi ...
