FlashAttention:从 1 到 3
本文将首先从公式出发,讲解 3-pass safe softmax、 2-pass online softmax 以及 1-pass FlashAttention 的原理。然后结合论文介绍 FlashAttention 1/2/3。
本文将首先从公式出发,讲解 3-pass safe softmax、 2-pass online softmax 以及 1-pass FlashAttention 的原理。然后结合论文介绍 FlashAttention 1/2/3。
stream-k 抛弃了 slice-k 和 split-k 以任务为中心的划分逻辑,而是变成了以计算资源为核心的分配任务方式,使得每个 SM 的任务量基本相当。
可能有人会觉得自带的#
标签比较丑,那么可以考虑更改themes\next\layout\_macro\post.swig
来更换一个图标
有这样一个问题:如何从一个无序的数组里求出第K大的数(为了简化讨论,假设数组中的数各不相同),例如,对数组{5,12,7,2,9,3}来说,第三大的数是5,第五大的数是9。
交换排序(冒泡排序,快速排序),插入排序(直接插入排序,希尔排序),选择排序(简单选择排序,堆排序),归并排序,基数排序