大语言模型的 Scaling:扩展方向、收益规律与训练配置

博主头像 大语言模型的 Scaling:扩展方向、收益规律与训练配置 Scaling laws 的核心价值,是估计扩大模型与训练量的收益,并在计算预算内找到更好的配比。 它把“投入更多资源通常能降低损失”的经验,变成可以测量、拟合和检验的关系。这里的主要质量指标是语言建模交叉熵;具体任务是否改善,还要单独评估 ...

数论小结

博主头像 第一次写数学专题的笔记有点小激动欸~跪求LeTax不要炸 我的废话可能有点多 \bx 求原谅 \bx 数论真的我搁了好久没碰,因为长官这真的太抽象了!于是搁到了现在终于鼓起勇气写了一篇学习笔记以此加深印象。(不然我肯定一秒钟后又要全部忘完) part1 容斥 公式推导 首先我们的目标是推出以下这个看 ...

开源:一稿多投工具(仅4M,支持9大平台)

博主头像 功能说明 DraftDepot 稿仓是一个一稿多投工具。 使用此工具写的文章可以一键发布到9大平台: 微信公众号 知乎 CSDN 开源中国 博客园 掘金 51CTO InfoQ 阿里云开发者社区 (目前多为技术平台,后续将增加更多平台) 本工具仅负责把文章灌注到目标平台,不直接发布文章(想发布文章需 ...

源码共享:C# 在mac OS里 控制播放mp3

博主头像 项目中要用到声音提醒功能。条件是macOS,而不是windows平台。 使用VS 2019 for Mac 和 xcode . 你只要使用的这两个开发工具版本配对 就可以顺利编译运行C# 开发mac应用 using System; using AVFoundation; using Foundati ...

时间序列分解:从噪声中提取有效信号

博主头像 时间序列数据里,趋势、周期和随机波动经常是混在一起的。 直接看原始曲线,很容易被短期波动带偏,比如把一次促销当成长期增长,或者把季节性回落当成业务衰退。 时间序列分解要解决的就是这个问题,把一条看起来乱七八糟的曲线拆成几个更有解释性的部分,让我们分别看: 长期方向 重复周期 剩下的随机噪声。 本文的 ...

彻底清理 codex-universal-proxy:从杀不掉到干净卸载

博主头像 笔者在服务器上遇到过一个奇怪现象:codex-universal-proxy 进程用 kill -9 杀不掉,杀掉后立刻又冒出一个新的。排查后发现,它其实是被 systemd 用户服务托管着,只要服务还在运行,进程就会被自动拉起。这篇文章记录完整的清理过程。 01 | 现象:kill -9 杀不掉 ...

半夜校园网断网,为什么流量也用不了?

博主头像 半夜校园网断网,为什么流量也用不了? 大学这四年饱受折磨,半夜断网之后,手机开热点给电脑用,但是往往有一些网站,不管怎么刷新都进不去,浏览器上显示的是白屏。 但是奇怪的是,手机却可以进去,明明电脑上没有任何的网络问题。 因为不是很紧急的待解决的问题,所以每次都忘记去处理这件事。 咬咬牙就忍过去了,懒 ...

洛谷-P8162 让我们赢得选举 题解

博主头像 Solution \(N\le 500\),我们需要 \(O(N^3)\) 的算法。 直接状压 dp 至少 \(O(2^N)\),我们一定有大量最优解的性质没有找到。 为了方便,约定一个州有三种状态: B 类点:演讲至 \(B_i\) 小时,同时获得选票和协作者。 A 类点:演讲至 \(A_i\) ...

势能分析(摊还分析)

博主头像 势能分析(摊还分析) 基本概念 1.1 摊还分析的引入 在算法分析中,我们通常关注单次操作的最坏时间复杂度。然而,对于某些数据结构,虽然单次操作的最坏情况代价很高,但在一系列操作中,高代价操作的总次数是受限的,因此平均到每次操作的代价并不高。 定义 1.1(摊还分析):摊还分析(Amortized ...

博客配置 - 新皮肤

概述 做了一款新皮肤,支持深浅色一键切换,浅色、深色各带 8 套主题色。现在的博客就是这个皮肤,需要的可以拿去用。 特性 深/浅色切换:页头月亮按钮切换深浅色 16 套主题色: 浅色:石板蓝、云白蓝、靛紫、蚂蚁蓝、支付紫、说文、中国红、天青 深色:午夜蓝、德古拉、摩卡、紫夜、东京夜、深海青、北欧蓝、 ...

nav2官方的bringup文件阅读笔记-命名空间,composition

博主头像 nav2官方的bringup文件阅读笔记-命名空间,composition 最近开始学习nav2的源码,开始读了nav2自己提供的快速启动的bringup文件,本笔记用来记录从这个文件中学到了什么。 nav2的源码地址放在这里:GitHub链接 结构概述 nav2提供的bringup文件可以分为三个 ...

客户总改测试数据?用脚本一键重生成 SQL

博主头像 客户频繁变更测试数据,是很多项目里绕不开的日常。每次拿到新的 .xlsx,如果还靠手工改 SQL,既慢又容易出错。 需要先说明一点:这里说的生成器并不是一个开箱即用的通用工具,而是针对具体项目文件需求、借助 AI 生成出来的脚本。它的定位是——把“根据客户文件生成 SQL”这件事,从每次都用 AI ...

使用 SciPy 库进行时间序列分析

博主头像 时间序列分析听起来有点学术,但其实干起来挺直接的。 你有一串按时间排列的数据,想知道里面有没有趋势、有没有周期性、噪声有多大,或者两个序列之间有没有延迟关系。 SciPy 这个库在信号处理、统计检验方面提供了不少现成的工具,配合 Matplotlib 画图,基本能覆盖日常分析的大部分需求。 本文不是 ...

123···100>