陈松的技术博客

不追求最大模型——我们如何用10倍低的成本落地AI

低成本、高效率、易部署的技术路线与工程实践

</font> <hr style=” border:solid; width:100px; height:1px;” color=#000000 size=1”> 前言 2026年初，我开始用Agent写了好几个项目。当时本地部署了Google的开源模型Gemma-3-27B，写了一些程序，用的都是本地提示词。但总感觉比不上线上模型的“智商”——本地...

Posted by chensong on 2026-06-08 00::06::24

Transformer之前馈神经网络（FFN全连接层）

前馈神经网络（FFN）、感知信息

<hr style=” border:solid; width:100px; height:1px;” color=#000000 size=1”> 前言在探讨Transformer时，许多人会将目光锁定在其引人瞩目的注意力机制上，然而，真正支撑起这一架构的，常常是被忽视的“隐形大佬”——前馈神经网络（FFN）。本文将深入解析FFN的结构、参数设计及其在Transfor...

Posted by chensong on 2026-01-06 00::03::24

Transformer架构及其源码实现

Transformer、注意力机制、监督学习

前言 Transformer架构中注意力机制已经应用到各种深度学习模型当前去提高细节关注一、Transformer 整体架构图输入序列 → 编码器 → 解码器 → 输出序列 1. 编码器（Encoder）流程图 ┌─────────────────────────────────────────────────────────┐ │ ...

Posted by chensong on 2025-12-31 23::37::24

AIGC大语言模型：从词元到嵌入向量

AI、LLM、词元、嵌入向量

前言词元和嵌入向量是人工智能生成内容（AIGC）中使用LLM的两个核心概念。文章从词元的生成的流程 -> 词元嵌入向量在空间的分布的原理词元在嵌入向量在空间的分布图一、LLM的分词 1、分词器是在模型处理文本之前，分词器会将文本分解成词或者子词。这个是根据特定的方法和训练过程进行的。 2、分词器如何分解文本 3、开源分词器 ...

Posted by chensong on 2025-12-16 00::01::35

AI 工程师必备之八大 LLM 开发核心技能

AI、LLM

前言最近在Google 出Gemini3.0 、马斯克团队出了Grok-4.1，OpenAI连夜出ChatGPT-5 2021年人工智能（AI）向纵深发展 “云”技术多样化发展 5G基站建设加速 2012年深度学习元年 2017年 Google的Transfomer诞生 ...

Posted by chensong on 2025-11-29 01::56::35

低时延流媒体系统之WebRTC协议

WebRTC

前言上面是WebRTC交互整连接交换的步骤的流程图四大步骤：客户端与服务端交换SDP STUN协议的验证 Binding　Request 0001 (USERNAME、GOOG-NETWORK-INFO、ICE-CONTROLLING、USE-CANDIDATE、PRIORITY、MESSAGE-INTEGRITY、FINGERPRINT) DTLS密钥协商流程...

Posted by chensong on 2025-11-14 01::56::35

云游戏、云电脑平台架构

前言最近在弄云电脑厂家的远程控制服务架构搭建上面是云电脑一个架构图、公安系统的接入没有画，其实是在中转服务上接入的。据说整机房建设10万台的机器，目前已经建设好了一万台机器、目前云服务架构挑战还是非常大的难点：低延迟（100ms）基本已经决定使用中转模式（后台可以进行用户登录录像储备功能）并发量暂时支持一万台机器的转发的能力一、云电脑整个系...

Posted by chensong on 2025-11-05 01::56::35

低时延流媒体系统之HTTP-FLV协议

http-flv

前言 http-flv 其实网络中发送flv文件，也是网络格式一、FLV简介 Flash Video（简称FLV），是一种网络视频格式，也是一种流媒体格式。 FLV文件由 FLV File Header + FLV File Body组成。二、FLV File Header FLV File Header固定为9个字节，用来描述版本号，有没有音视频结构如下： ...

Posted by chensong on 2025-11-02 01::56::35

mpeg-ts格式详解

前言一、基本概念 1、ES流（Elementary Stream）：基本码流，可以理解为编码后的裸数据； 2、PES流：分割打包的ES流，加入了PES头。PES包是可变长度的，PES头中最重要的部分是显示时间标记（Presentation Time Stamp， PTS）和解码时间标记（Decode Time Stamp， DTS），有了PTS和DTS，再加上节目时钟参考PCR，解码...

Posted by chensong on 2025-08-27 01::56::35

WebRTC中音视频服务质量QoS之FEC+NACK调用流程

WebRTC中音视频服务质量QoS之FEC+NACK调用流程 @TOC </font> <hr style=” border:solid; width:100px; height:1px;” color=#000000 size=1”> WebRTC专题开嗨鸭！！！一、 WebRTC 线程模型 1、WebRTC中线程模型和常见线程模型介绍 2、W...

Posted by chensong on 2025-03-26 23::56::35

陈松的技术博客

博主前沿技术 Frontier Technologies

AI/ML/DL/LLM/AIGC

CUDA/GPU

视频编解码

WebRTC

OpenGL

C/C++

创作历程 Creation Timeline

不追求最大模型——我们如何用10倍低的成本落地AI

低成本、高效率、易部署的技术路线与工程实践

Transformer之前馈神经网络（FFN全连接层）

前馈神经网络（FFN）、感知信息

Transformer架构及其源码实现

Transformer、注意力机制、监督学习

AIGC大语言模型：从词元到嵌入向量

AI、LLM、词元、嵌入向量

AI 工程师必备之八大 LLM 开发核心技能

AI、LLM

低时延流媒体系统之WebRTC协议

WebRTC

云游戏、云电脑平台架构

云游戏、云电脑平台架构

低时延流媒体系统之HTTP-FLV协议

http-flv

mpeg-ts格式详解

mpeg-ts格式详解

WebRTC中音视频服务质量QoS之FEC+NACK调用流程

WebRTC中音视频服务质量QoS之FEC+NACK调用流程

所有标签 Featured Tags

关于我 About Me

友情链接 Friends