阅读笔记：Memory Caching：RNNs with Growing Memory
0. 发展脉络解决 Miras 和 NL 架构面临的超长文本内存上限问题。其实可以尝试用 NL 的视角来看待 MC 这篇文章，把 MC 当做一种跨频率的知识路由机制 0.1 分段长度 -> 频率在 NL 中，模型不同层级是不同更新频率。在 MC 中，核心操作是将长序列切分为多个自定义长度的片段，并缓存这些片段的检查点。 在线记忆（Online Memory）= 最高频：在 MC 中，当前正在处理的在线记忆，每输入一个 Token 就会利用Mirsa内部目标（如梯度下降）更新一次（即频率 f=1）。它等价于 NL 中负责处理瞬时上下文的极高频神经元。 缓存记忆（Cached Memories）= 低频：一旦一个片段结束，它的记忆状态就会被“冻结”并缓存。这意味着这些缓存的记忆是经过了一段较长的时间周期（即片段长度 C）才最终成型的一次“低频快照”。 频率视角的折中：在 MC 中，Transformer 可以被看作是片段长度为1（无限高频，保留所有细节）的特例，而传统 RNN 是片段长度为无限大（极低频，全部压缩到一起）的特例。MC...
阅读笔记：Nested Learning：The Illusion of Deep Learning Architecture
0. 发展脉络将 Miras 的思想泛化到整个神经网络。既然 Miras 证明了 Transformer 和各种 RNN 是一个实时优化的记忆网络，那么 NL 就更进一步：不光是序列层，模型里的多层感知机（MLP）、甚至是优化器（Adam、动量），全都是在不同更新频率上运行的关联记忆网络。 1.作者认为，我们平常看到的“层数更深、参数更多、模型更强”只是表面现象；真正决定模型表达力和学习能力的，可能是模型内部存在多少层嵌套的优化问题，以及这些优化问题如何在不同时间尺度上协同工作。 2. 本文的贡献论文据此提出了 Nested Learning（NL）范式：把各种不同的模型理解成一组彼此嵌套、更新频率不同、上下文不同的学习模块。这个视角重新解释了注意力、FFN、优化器和上下文学习，也进一步推出了三条落地路径：更强的优化器、更能自我修改的序列模型，以及一个连续记忆系统。作者最终用 HOPE 架构对这些想法做了实际落地验证。 以下是这篇论文做出的几点贡献： 提出了 Nested Learning...
阅读笔记：It's All Connected：A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization
0. 发展脉络Miras是这三篇文章的起点（Miras->NL->MC）这三篇文章完整记录了作者这个团队从重构一个简单的 RNN 层，最终重构整个LLM模型处理超长文本的历程本篇文章是理论基石，证明了无论是 Transformer 还是线性 RNN，本质上都是在测试阶段实时进行在线优化的关联记忆模块，也就是说，模型在推理时，其实内部正在不断地利用梯度下降等算法更新状态。 1.本文将神经网络架构重新理解为一种 测试时学习（Test time learning） 的关联存储模块。推理阶段被视为一个动态的学习过程，模型在提取静态知识时，实时地存储并优化当前输入序列的关联映射。把序列模型内部的内存看作一个小型的神经网络，模型在阅读新文本时，利用内部优化器（如梯度下降）实时训练并更新这块内存。 2. 现有问题作者想解决的问题是：在处理长文本时，现有的模型都有些问题 Transformer： 它在推理时把看过的所有词都存在缓存（K、V）里。文本越长，内存和计算量就是平方级上升，无法处理超长上下文。另外通过公式看出，计算输出至少需要 N × d 个操作符的复杂度。 线性...
使用UVR5分离伴奏和人声
本帖子仅适用于VJ制作垫音，分离伴奏和人声若要分离干声、和声，或各种乐器，可查看UVR5中各模型名称和简介 1. 下载并安装UVR5按安装程序提示完成安装要安装在系统盘C盘 2. 下载模型设置 - DownLoad Center - MDX-Net ，下载 MDX23C-InstVoc HQ （推荐模型） 3.Addtional Seetings WAV Type 选择 32-bit Float MP3Bitrate 选择 320k及以上 其它不动 4. 首页操作 选择输入和输出路径 选择模型和模型大小，按照上文推荐的MDX23C-InstVoc HQ 勾选 GPU Conservation Start Processing
Ai技巧记录(Adobe illustrator)
Ai小技巧记录本文非常个人向，当作笔记记录一下小白在轻度使用时必备的一些技能，发文时刚刚进行一个Logo设计，发现很多基本操作已经忘却了，在此记录一下可以参考另一篇 Ai 实战记录博客《怎样画一张轨道交通图》。 剪切图形例如，我们需要一个不规则半圆，其实可以直接用椭圆工具画一个，然后点住顶部小圆点/在顶部选择扇形角度即可但剪切图形显然更加普适 画一个圆，点’Ctrl+Shift+O’，让图形自动识别边框路径点 使用钢笔工具在剪切位置画一道直线 打开’窗口-路径查找器-分割’ 选择取消编组 得到一个新的图形 设计字体有时候我们遇到一个很喜欢的字体，但些许设计我们不满意，可以手动调整 选中字 点’Ctrl+Shift+O’，让图形自动识别边框路径点 取消编组 使用路径点工具，调整字的形状，可以实现笔画更改、圆角，配合上文提到的路径查找器可以实现更多设计
Flutter链接MySQL
Flutter链接MySQL1. 前言Flutter 项目中常见的数据库选择包括SQLite：一种本地数据库，优点顾名思义，更加轻量化，且对移动设备的支持更好；缺点是无法云上部署并通过IP链接云端数据库：适合需要多用户共享数据的应用 这里仍然选择MySQL的原因： 没学过数据库，用老牌数据库学一下常规操作先 可以云上部署，在自己的服务器上部署特别方便 在腾讯云服务器上部署，便于统一管理服务 2. MySQL 安装 简单配置Ubuntu 服务器打开终端用ssh命令行安装还是太麻烦了直接用宝塔的数据库功能，点添加数据库，填写config就好更细致的操作，如创建用户、编辑权限、创建表等，点击phpMyAdmin进入php管理页面操作 Windows在MySQL官网下载安装包后安装 SQL 可视化管理工具推荐DBeaver，官网下载安装即可配置简单，界面直观，功能丰富可以管理云端数据库支持多种SQL 常用命令启动：net start mysql 尽量用管理员权限关闭：net stop mysql本地链接 mysql -u your_username -p ...
易拉宝展示
易拉宝展示以下是个人的易拉宝作品展示（未展出易拉宝暂不上传）随缘接单欢迎扩列 QQ：1439429910
GPIO学习
GPIO | 红外探测GPIO | 红外探测小车的循迹功能就是通过4路红外探测黑线来实现的 GPIO 简介GPIO就是从STM32芯片上引出的引脚，可以通过拉高/拉低电平等方式简单粗暴地控制，也可以使用TIM、UART等系统资源控制，也可以检测GPIO端口电平的高低来实现数据输入。 GPIO输出–以点亮LED为例编程顺序 使能GPIO端口时钟 初始化GPIO引脚 控制GPIO输出高、低电平 代码分析1.在.h文件中列出需要的GPIO的宏编程时使用宏定义便于提高程序的可移植性每个.h文件都include这个头文件#include "stm32f10x.h" 12345678/* 定义LED连接的GPIO端口, 用户只需要修改下面的代码即可改变控制的LED引脚 */#define LED1_GPIO_PORT GPIOC /* GPIO端口 */#define LED1_GPIO_CLK RCC_APB2Periph_GPIOC /* GPIO端口时钟 */#define...
怎样画一张轨道交通图
怎样画一张地铁图 | Ai1.使用钢笔工具，点击创建锚点后，按住 shift 移动光标（shift使光标只能水平、垂直、45°移动），继续创建锚点画出线路基本走向 2.调整描边颜色、端点和转角为圆滑 3.在 fx - 风格化 - 圆角 中选择线路转弯处圆角半径 4.使用椭圆工具，按住 shift 画出正圆，作为地铁站图标 5.搭配使用多边形工具、钢笔工具、曲率工具画出不规则图标 6.添加一点创意 7.导出时选择全画布导出 附上：城市天际线架空城市轨道交通图