1.aiç»å¾è½¯ä»¶åªä¸ªå¥½ç¨
2.腾讯T2I-adapter源码分析(3)-训练源码分析
3.自由开源的线绘下载免费绘画软件:Krita
4.第一章 GIMP简介
5.源码阅读忆丛(37)Minigui
6.可免费使用NovelAI的资源指路(本地版,云端版)
aiç»å¾è½¯ä»¶åªä¸ªå¥½ç¨
触ç«ãDeepArt.ioãPrismaçã
1ã触ç«æ¯å½å é«äººæ°ç»å¸ä½åå享平å°ï¼ææµ·éæç»å¸å ¥é©»ï¼åæ¶è§¦ç«æ¨åºçAIç»ç»åè½åå强大ï¼é¶åºç¡å°ç½ä¹è½å¿«éææç²¾ç¾çä½åï¼å¹¶ä¸æ¯æä¸é®ä¸è½½ï¼æ°ç¾ä¸ç¨æ·å¨ä¸é¢å享ãåä½ã
2ãDeepArt.ioæ¯ä¸æ¬¾é常强大çAIç»ç»å¹³å°ï¼å¯ä»¥å°ä½ ä¸ä¼ çä»»ä½å¾ç转å为任ä½ä¸å¼ èºæ¯å¤§å¸çåä½é£æ ¼ãæ以ï¼æ³è®©èªå·±ç头ååæä¸å¹ 梵é«çæ²¹ç»ä½åçè¯ï¼é£ä¹DeepArt.ioå°±æ¯ä¸äºéæ©ã
3ãPrismaæ¯ä¸æ¬¾ååæ趣çAIç»ç»å¹³å°ï¼å¯ä»¥å°ç §ç转åæåç§ä¸åçèºæ¯é£æ ¼ï¼å æ¬ææåç«æ´¾ãæ¯å ç´¢ççãèä¸ï¼Prismaè¿é å¤äºè®¸å¤ç¾å¦ç滤éææï¼æ以ç¨æ·å¯ä»¥è½»æ¾å°è®©èªå·±çç §çæ´å åºå½©ã
腾讯T2I-adapter源码分析(3)-训练源码分析
随着stable-diffusion和midjourney等AI技术展现令人惊叹的画源绘画艺术创作,人们对AI可控绘图的码线追求日益高涨。为提升AI图像生成的源码可控性,Controlnet和T2I-adapter等解决方案应运而生。线绘下载系列文章将从T2I-adapter的画源绘画悬崖电视剧源码源码出发,深入剖析其训练部分的码线实现原理。
本篇我们将聚焦于训练源码的源码解析,通过代码结构的线绘下载梳理,了解T2I-Adapter的画源绘画训练流程。
训练代码的码线运行涉及数据处理、模型加载、源码优化器设置以及实际训练过程。线绘下载在第一部分,画源绘画我们首先设置参数并加载数据,码线如DepthDataset,它从txt文件中读取、对应的深度图和文本描述。
在模型加载阶段,我们区分了stable-diffusion模型和adapter。stable-diffusion模型加载时,其配置与推理阶段有所差异,如增加调度器参数、提高精度、调整分辨率和训练相关参数。adapter模型的源码分析的作用加载则遵循推理过程中的初始化方法,通过构建不同模块来实现。
训练过程中,adapter模型的关键结构包括下采样、卷积和ResnetBlock的使用,相比controlnet,T2I-adapter的参数更少,没有注意力层,这使得训练更为高效。模型放入GPU后,使用adamW优化器进行训练,同时设置学习率和数据保存路径。
状态恢复部分,程序会判断是否从头开始或恢复训练,设置log信息。接下来,代码进入实际的训练循环,包括条件编码、隐藏状态生成、adapter结果附加至sd模型以及adapter梯度计算。
loss函数定义在模型配置中,采用L2损失来衡量生成图像与给定时间点加噪ground truth的接近程度。训练过程中,loss计算和模型保存都在代码中明确体现。
总的来说,T2I-adapter的布林带优化源码训练源码展示了精细的结构和参数设置,确保了AI绘画的可控性和性能。在AI艺术的探索中,每一行代码都承载着技术进步的点滴痕迹。
自由开源的免费绘画软件:Krita
寻找一款能够替代Photoshop和SAI的免费绘画软件?Krita可能就是你的理想选择。这款开源软件不仅免费,且支持Windows、macOS和Linux,甚至安卓平板也在测试中。它功能强大,涵盖了绘画的全流程,包括草图、插画、漫画、动画和3D贴图,具备数位板支持、防抖、图层管理等专业特性,还内置了官方中文版,确保了全球用户的使用体验。
虽然许多人首先会想到业界巨头的付费软件,但Krita的出现打破了常规。Krita并非仅仅追求免费,而是一个遵循自由软件原则的项目,其使用GNU GPL许可证,这意味着用户可以自由地使用、空白网页源码代码研究和修改源代码,而且社区的开源特性使得它不断进步和改进。尽管它起初可能不如商业软件那样成熟,但随着时间和社区的共同开发,Krita在近年来已经发展成为能够媲美商业化软件的工具。
Krita的界面设计直观,操作方便,尤其适合数字绘画。虽然在早期版本中可能面临一些性能问题,但随着时间的推移,开发者和志愿者们不断优化,现在的Krita已经能满足专业创作的需求。它支持显卡加速、多传感器控制,以及丰富的图层功能,包括色彩管理和HDR支持,甚至可以配合Blender进行纹理制作。
对于那些担心语言问题的用户,Krita的中文翻译工作做得非常到位,从官方网站到软件界面,都有了完整的中文支持。Krita的中文社区虽然相对较弱,但已有中文爱好者在积极贡献,使得更多中国用户能够无缝融入这个国际化的创作平台。
总的亮剑ea源码来说,Krita以其强大的功能、开放的源代码和友好的社区,为数字艺术家提供了一个免费、可信的创作环境。尽管它可能需要一些适应和学习,但对于追求创新和自由的艺术家来说,Krita无疑是值得尝试的优秀选择。如果你正在寻找一个替代品,不妨考虑一下这款来自全球开发者和艺术家共同维护的软件。
第一章 GIMP简介
GIMP是一个多平台图像处理工具,功能丰富,可作为简单的绘画程序、专家级的照片修饰工具、创建数字艺术的利器、在线批处理系统、批量图像渲染器以及图像格式转换器等。其强大的可扩展性通过插件实现多样化功能,高级脚本接口则允许用户编写脚本完成复杂图像处理任务。
GIMP是免费的自由软件,遵循通用公共许可证版本 3 [GPL]。这意味着用户可自由访问和修改其源代码。大多数GNU/Linux发行版将其作为标准应用提供,适用于微软视窗™和苹果的macOS™(达尔文)等其他操作系统。
GIMP的开发由Peter Mattis和Peter Mattis启动,并得到了众多贡献者的支持。目前,Mitch Natterer、Jehan Pagès以及其他团队成员在精心策划GIMP的发布。文档团队提供了丰富的帮助资源,包括用户手册和在线HTML版本帮助文档,使用时按住F1键可访问。
GIMP的特性与功能多样,包括但不限于绘画、图像修饰、艺术创作、批处理、渲染和格式转换。通过不断探索和利用这些功能,用户可以高效地处理各种图像任务,开启图像编辑之旅。
源码阅读忆丛()Minigui
探索GUI的历史与实现
对于GUI的细节仍然存在一些困惑,似乎总是有新的东西需要学习。年轻时,对《Windows程序设计》、MFC等书籍充满热情,那些API的神奇之处让人着迷。然而,花费大量时间深入学习,却似乎事倍功半,微软似乎更倾向于教人如何使用,而非深入解释实现原理。尽管如此,还是尝试实现过文字版的GUI,涉及基本的按钮、滚动条、菜单等元素。但一些细节仍不清楚。
通过网络搜索,了解到魏永明的Minigui项目是对Windows GUI和GDI的模仿。通过下载vc6版本的MinGUI,能够进行调试。在分析代码时,发现事件回调、消息链等常见功能并无特别之处。而DefaultMainWinProc、InvalidateRect、PopupMenuTrackProc等函数则更具实际意义。GUI就像是在显存沙漠中绘画,有其既定规则。DefaultMainWinProc负责实现画最大、最小按钮、窗口方框等常规操作,而绘制的动作有其先后顺序,即消息的先后处理。
GDI部分则展示了如何在显存中书写文字,包括粗体、斜体等效果;如何绘制图标和位图;关键的rgn裁剪矩形技术,用于加速绘制,矩形外的绘制不会进行。rgn裁剪矩形的运算包括加、减、合、并等,对应着窗口的各种移动和形状改变。不同线程之间的窗口管理由HWND_DESKTOP统一处理,desktop-common.c相当于窗口管理器,不同程序无法直接获取其他窗口的位置和大小,由其进行统一管理。desktop包含三个线程,分别负责捕捉键盘、鼠标消息,以及实际消息的处理,以及窗口给desktop的消息交由DesktopWinProc统一处理。
MinGUI的模拟版本在调试方面虽能使用,但功能实现上有缺失。相比之下,libminigui-1.0.提供了完整的gui、gdi、kernel代码,定义了大部分的画窗套路和动作,只需要关注关键部分和自己定义的动作即可。
Linux的GUI采用了xwindows,通过socket将xclient进程中的窗口绘制信息传输到xserver,由xserver统一处理。xclient之间互相不知道窗口的位置和大小,因此都通过xserver进行绘制,xserver还包含了窗口管理器。而MinGUI在一个进程的多个线程中实现,不存在窗口管理器与进程间位置信息传递的问题。
Windows使用wink.sys作为窗口管理器,作为内核态程序,用户态的动态链接库在不同进程间数据段不同,但内核态的数据段统一,因此实现了窗口管理。Windows显示流畅的原因之一在于窗口管理机制与MinGUI的desktop类似,但实现机制有所不同。
工作繁忙,业余时间进行学习。尽管以前对GUI有过大量无用功,但这次的探索仅用几天时间便有所收获。
可免费使用NovelAI的资源指路(本地版,云端版)
NovelAI源码泄露后,大佬们已提供成熟使用方法。下载G资源,包含多个模型,选择一个适用即可。
本地版推荐使用以下教程安装:AI绘画再次进化!novelai真官网版本解压即用 无需下载!这次1分钟内不用学也能会用 bilibili.com/video/BV1E...
官网版本,一键使用。链接在视频简介,提取码需关注大佬后在私信里得到。
云端版推荐此网站:ai.nya.la/stories(此网站已失效,一键搭建云端版请点击: 靠谱的赳晨:一键搭建NovelAI云端版(使用colab免费服务))。
直接点Sign In 登录,点击Image Generation开始生成图像。如出现“太多请求正在处理,请稍后再试”提示,继续点击Generate,直至无法点击,然后稍等。
本月日(周日)云端版服务即将停止,建议抓紧使用。搭建教程请参考: telegra.ph/NovelAI-%E5%...
历史版本使用方法,建议自行搜索了解。
è°è½ç¨JBuilderç¼ä¸ä¸ªç»ç»çå°ç¨åº
import java.awt.*;
import java.awt.event.*;
import java.awt.geom.Point2D;
import java.awt.image.BufferedImage;
import javax.swing.*;
import javax.swing.border.Border;
public class DrawShapes extends JFrame{
private static final long serialVersionUID = L;
//ä½å¾é¢æ¿
private CVS cvs;
//ä½å¾æ¹å¼éæ©æé®
private JToggleButton cycle,line,rect;
private JLabel red,blue,green;
private ButtonGroup bgroup;
//æé®å¸å±é¢æ¿
private JPanel menuPanel;
//å¤ä½æé®
private JButton clean;
public DrawShapes(){
super("DrawShape!");
// this.setResizable(false);
this.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
this.setSize(,);
this.setLocationRelativeTo(null);
this.getContentPane().add(cvs=new CVS());
this.initComponents();
}
//åå§åç»ä»¶
private void initComponents() {
this.menuPanel = new JPanel(null);
this.menuPanel.setPreferredSize(new Dimension(,));
this.menuPanel.setBorder(BorderFactory.createLineBorder(Color.gray));
this.getContentPane().add(this.menuPanel,"South");
this.bgroup = new ButtonGroup();
this.cycle = new JToggleButton("åå½¢");
this.cycle.setBounds(,4,,);
this.line = new JToggleButton("ç´çº¿");
this.line.setBounds(,4,,);
this.rect=new JToggleButton("ç©å½¢");
this.rect.setBounds(,4,,);
red = new JLabel();
red.setOpaque(true);
red.setBackground(Color.red);
red.setBounds(,4,,);
blue=new JLabel();
blue.setOpaque(true);
blue.setBackground(Color.blue);
blue.setBounds(,4,,);
green=new JLabel();
green.setBackground(Color.green);
green.setOpaque(true);
green.setBounds(,4,,);
this.menuPanel.add(red);
this.menuPanel.add(blue);
this.menuPanel.add(green);
this.menuPanel.add(cycle);
this.menuPanel.add(line);
this.menuPanel.add(rect);
this.bgroup.add(cycle);
this.bgroup.add(line);
this.bgroup.add(rect);
this.clean = new JButton("æ¸ é¤");
this.clean.setBounds(,4,,);
this.menuPanel.add(clean);
//æé®å¨ä½ä¾¦å¬å¨å®ä¾
ActionListener al = new ActionListener(){
public void actionPerformed(ActionEvent e) {
Object src = e.getSource();
if(src.equals(cycle))
cvs.setSX(S.CYCLE);//ç»å
else if(src.equals(line))
cvs.setSX(S.LINE);//ç»ç´çº¿
else if(src.equals(rect))
cvs.setSX(S.RECTANGLE);//ç»ç©å½¢
else if(src.equals(clean))
cvs.reset();//å¤ä½
}
};
//ç»æé®æ³¨å侦å¬å¨
this.cycle.addActionListener(al);
this.line.addActionListener(al);
this.rect.addActionListener(al);
this.clean.addActionListener(al);
MouseListener ml = new MouseAdapter(){
public void mousePressed(MouseEvent e){
Object s = e.getSource();
Border b = BorderFactory.createLoweredBevelBorder();
if(s.equals(red)){
cvs.setFC(Color.red);
red.setBorder(b);
blue.setBorder(null);
green.setBorder(null);
}
else if(s.equals(blue)){
cvs.setFC(Color.blue);
blue.setBorder(b);
red.setBorder(null);
green.setBorder(null);
}
else if(s.equals(green)){
cvs.setFC(Color.green);
green.setBorder(b);
blue.setBorder(null);
red.setBorder(null);
}
}
};
blue.addMouseListener(ml);
red.addMouseListener(ml);
green.addMouseListener(ml);
}
//ç¨åºå ¥å£
public static void main(String[] aregs) throws Exception{
//è°ç¨ç³»ç»è§è§è®¾ç½®
UIManager.setLookAndFeel(UIManager.getSystemLookAndFeelClassName());
SwingUtilities.invokeLater(new Runnable(){
public void run(){
new DrawShapes().setVisible(true);
}
});
}
}
//主ä½å¾é¢æ¿ç±»,å¯æ¥æ¶ä¸è¬é¼ æ äºä»¶åé¼ æ æå¨äºä»¶
class CVS extends Canvas implements MouseListener,MouseMotionListener{
private static final long serialVersionUID = L;
//æå®å¾å½¢ç第ä¸ç¹,æ¯å¦ç©å½¢çè§ç¹,åå½¢çåå¿,ç´çº¿ç第ä¸ç¹
private int x,y;
//ä½å¾å¤§å°
private int w,h;
//ä½å¾ç±»åæ§å¶
private S sx = S.NULL;
//åç¼å²,èæ¯ç¼å²åºå临æ¶ç¼å²åº
private BufferedImage background,buff;
//å¾åæ´æ°æ è®°
private boolean hasChanged;
//èæ¯è²,临æ¶ä½å¾è²,åæ¯è²
private Color bgc = Color.white;
private Color tmpc = Color.gray;
private Color fgc = Color.blue;
public CVS(){
this.addMouseListener(this);
this.addMouseMotionListener(this);
}
//ä½å¾æ§å¶æ¹å¼è®¾ç½®
public void setSX(S s){
sx = s;
}
//æ§å¶ä½å¾é¢è²:
public void setFC(Color c){
fgc=c;
}
//ç»å¶ä¸´æ¶ç¼å²åº
private void drawing(int X,int Y) {
Graphics g = buff.getGraphics();
g.setColor(bgc);
g.clearRect(0,0,w,h);
copyBuffer();
g.setColor(tmpc);
switch(sx){
case CYCLE:
Point p = new Point(x,y);
Point2D p2 = new Point2D.Double(X,Y);
int dist = (int)p.distance(p2);
g.drawOval(x,y,0,0);
g.drawOval(x-dist, y-dist,dist*2,dist*2);
break;
case LINE:
g.drawLine(x,y,X,Y);
break;
case RECTANGLE:
int dx = x-X;
dx = Math.abs(dx);
int dy = y-Y;
dy = Math.abs(dy);
g.drawRect(x<X?x:X,y<Y?y:Y,dx,dy);
break;
}
g.dispose();
drawBufferToCVS();
}
//ç»å¶èæ¯ç¼å²åº
private void drawBuffer(int X,int Y){
Graphics2D gd = background.createGraphics();
gd.setColor(fgc);
gd.setRenderingHint(RenderingHints.KEY_ANTIALIASING,RenderingHints.VALUE_ANTIALIAS_ON);
switch(sx){
case CYCLE:
Point p = new Point(x,y);
Point2D p2 = new Point2D.Double(X,Y);
int dist = (int)p.distance(p2);
gd.drawOval(x,y,0,0);
gd.drawOval(x-dist, y-dist,dist*2,dist*2);
break;
case LINE:
gd.drawLine(x,y,X,Y);
break;
case RECTANGLE:
int dx = x-X;
dx = Math.abs(dx);
int dy = y-Y;
dy = Math.abs(dy);
gd.drawRect(x<X?x:X,y<Y?y:Y,dx,dy);
break;
default:
popupMsg();
}
gd.dispose();
Graphics g = this.getGraphics();
g.clearRect(0,0,w,h);
g.drawImage(background,0,0,null);
g.dispose();
}
private void popupMsg(){
JOptionPane.showMessageDialog(this,"请éæ©ä¸ç§ä½å¾æ¹å¼å¼å§ä½å¾.");
}
//å¤å¶èæ¯ç¼å²åºå 容å°ä¸´æ¶ç¼å²åº
private void copyBuffer(){
Graphics g = buff.getGraphics();
g.drawImage(background,0,0,null);
g.dispose();
}
//å°åºä¸´æ¶ç¼å²åºå 容å°çªå£
private void drawBufferToCVS() {
Graphics g = this.getGraphics();
g.drawImage(buff,0,0,null);
g.dispose();
}
//æ¸ é¤åç¼å²åºå¹¶æ¸ é¤çªå£å 容
public void reset(){
clearContents(buff);
clearContents(background);
Graphics g = this.getGraphics();
g.setColor(bgc);
g.fillRect(0,0,w,h);
g.dispose();
}
//æ¸ é¤æå®ç¼å²åºå 容
private void clearContents(BufferedImage i){
Graphics g = i.getGraphics();
g.setColor(bgc);
g.fillRect(0,0,w,h);
g.dispose();
}
//åå§åç¼å²åº
private void initImages() {
background=new BufferedImage(w,h,BufferedImage.TYPE_INT_RGB);
buff=new BufferedImage(w,h,BufferedImage.TYPE_INT_RGB);
clearContents(background);
clearContents(buff);
}
//éåæ¤æ¹æ³,以便å¨çªå£éæ°æ¾ç¤ºæ¶è½æ£ç¡®æ¾ç¤ºæåçå 容.
public void paint(Graphics g){
// w = this.getWidth();
// h = this.getHeight();
if(background==null){
w = this.getToolkit().getScreenSize().width;
h = this.getToolkit().getScreenSize().height;
initImages();
}
g.drawImage(background,0,0,null);
g.dispose();
}
//åå»ä½å¾åºä¹è½åæ¸ é¤å¨ä½,åµåµ
public void mouseClicked(MouseEvent e) {
if(e.getClickCount()==2)
reset();
}
public void mouseEntered(MouseEvent e) { }
public void mouseExited(MouseEvent e) { }
//æ¯å½æä¸é¼ æ æ¶å°±éæ°è®¾ç½®ç¬¬ä¸ç¹çåæ
public void mousePressed(MouseEvent e) {
this.x=e.getX();
this.y=e.getY();
}
//æ¯å½éæ¾é¼ æ æ¶å°±å³å®æ¯å¦éè¦å°èæ¯ç¼å²åºå°åºå°çªå£
public void mouseReleased(MouseEvent e) {
if(hasChanged){
hasChanged=false;
drawBuffer(e.getX(),e.getY());
}
}
//æ¯å½é¼ æ æå¨æ¶å¼å§ä½å¾
public void mouseDragged(MouseEvent e) {
hasChanged=true;
drawing(e.getX(),e.getY());
}
public void mouseMoved(MouseEvent e) { }
}
//ä½å¾ç±»åçæ举
enum S{
CYCLE,RECTANGLE,LINE,NULL
}
///:~ end
ççè¿ä¸ªæ»¡æä¸