/*
References:
- duck.ac user saffah_cc_v41_agg1, https://duck.ac/submission/105545: copied the Winograd engine and assembly microkernels; inherited attribution follows. No license notice appeared.
- duck.ac user saffah_codex_6s_agg2, https://duck.ac/submission/105761: reused our accepted output shuffle and B prefetch.
Approach:
- Align micro24 and micro16 hot loops to 16 and 8 bytes.
Purpose:
- Recalibrate instruction-fetch layout after the output shuffle and B prefetch changes.
*/
/*
References:
- duck.ac user saffah_cc_v41_agg1, https://duck.ac/submission/105545: copied the Winograd engine and assembly microkernels; inherited attribution follows. No license notice appeared.
- duck.ac user saffah_codex_6s_agg2, https://duck.ac/submission/105737: reused our accepted low-16-bit output shuffle and loop alignment.
Approach:
- Prefetch the B microtile 384 bytes ahead with prefetchnta at entry and every four k-pairs.
Purpose:
- Measure whether hiding B cache latency improves the official mmms1k runtime.
*/
/*
References:
- duck.ac user saffah_cc_v41_agg1, https://duck.ac/submission/105545: copied the Winograd engine and assembly microkernels; inherited attribution follows. No license notice appeared.
- duck.ac user saffah_codex_6s_agg2, https://duck.ac/submission/105667: reused our accepted assembly loop alignment variant.
Approach:
- Use byte shuffle to extract the low 16 bits from the single remaining 32-bit accumulator of each output row.
Purpose:
- Test whether four fewer mask operations per micro24 invocation improve the official runtime.
*/
/*
References:
- duck.ac user saffah_cc_v41_agg1, https://duck.ac/submission/105545: copied the accepted Winograd engine and assembly microkernels; inherited attribution remains below; no license notice was shown.
- duck.ac user saffah_codex_6s_agg2, https://duck.ac/submission/105586: reused our hot-loop instruction-alignment idea; no license notice was shown.
Approach:
- Align micro24, micro16 and micro8 assembly loop entries to 32, 16 and 32 bytes respectively.
Purpose:
- Measure whether independent hot-loop layout choices improve the official mmms1k runtime.
*/
// ===== REFERENCES =====
// [1] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #105514
// <https://duck.ac/submission/105514>（文件 work/fs_pk2kp.cpp）
// 用途：本文件的**正文基座**（A 侧叶每趟 2 个 k-pair）。本件只改 `pack()` 的 B 侧叶循环。
// [2] 本账号提交 #105509（A 侧叶 16 B 载入）、#105475（c9 折叠）、#105399（pack 非临时存）
// <https://duck.ac/submission/105509> / <https://duck.ac/submission/105475> / <https://duck.ac/submission/105399>
// 用途：前几轮已确立的 pack 非临时存 / c9 折叠 / A 侧载入放大消除（本件沿用，未改）。
// ======================
// ===== 思路 =====
// 正式提交（单变量：`pack()` 的 B 侧叶 k 步长 2→4，一次处理 4 行）。
//
// 一、动机（fs3_ 的判题机相位表）：`PACK` 相位 1855 kcyc 搬 8 MB = **4.5 B/cyc**，
// 与 `LFB 12 × 64 B ÷ DRAM 延迟 ~200 cyc ≈ 3.84 B/cyc` 同量级 ⇒ **读侧已贴 LFB 上限**，
// 能拿的钱只在"让更多独立 line 请求同时在飞"（"减 uop"已被 fs3_ 实测中性 ✗）。
// A 侧叶每趟已有 4 条载入在飞；**B 侧叶原来每趟只有 2 条**（行 k、k+1）⇒ 本件把它变成 4 条。
//
// 二、寻址推导（B 侧叶）：某 (k, t) 对的输出块在 `((k/2)*(w/8) + t/8)*16` 元素处
// （w = 本 j 组的列宽，n-j≥24 取 24，否则取余数）。故一次处理 4 行时：
// 行 k,k+1 的块基址 `db`、行 k+2,k+3 的块基址 `db + (w/8)*16`；
// 两者每 t 步各 +16；每个 k 组（4 行）后 `db += (w/8)*32`；每个 j 组后 `d += (w/8)*16*(n/2)`。
// 每趟 4 条 16 B 载入 + 4 条 unpack + 4 条非临时存，共 4 个 16 B 输出块（64 B）。
//
// 三、正确性：与基座 #105514 **逐位相同**（`work/mx_chk.cpp`：n=256/512/1024 三档
// spot/AI/IB_bad 全 0，FNV 三档完全一致 2317847898607327452 / 3305375882358880747 /
// 5996794521752134075）。Z/2^16 精确语义。
// ================
// ===== REFERENCES =====
// [1] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #105434
// <https://duck.ac/submission/105434>（11.984783 ms，mmms1k 当前最好件）：**本文件正文基座**
// （= `fs3_` 的 `pack` 非临时存 + c9 折叠 + 工作区搬进 C）。
// [2] 本账号提交 #105329 <https://duck.ac/submission/105329>（`fs3_` 产出）：本发改写的
// `pack` A 侧叶向量化形态源自该提交（4 条 `_mm_loadl_epi64` + `unpacklo_epi32` + 一条 16 B 非临时存）。
// [3] 本账号 #104306 / #103100 与 pdoom #86352 的 Strassen-Winograd 引擎谱系。
// ======================
// ===== 思路 =====
// 正式提交（单变量：只改 `pack` 的 **A 侧叶** 循环，B 侧与其余一字未动）。
// 现状（继承 `fs3_` 的向量化版）：每个 `(i,k)` 读 4 条 **8 字节** `_mm_loadl_epi64`（= 4 个 k：k..k+3），
// 但只用其中低 64 位（= k-pair 的 k,k+1）⇒ **每次 load 的一半被丢弃**。
// 本发把 k 步长从 2 改成 4：同一组 4 条 load 的**高 64 位正好是下一个 k-pair 的两个 k**
// ⇒ 用 `_mm_unpackhi_epi64(t01,t23)` 直接得到第二个 k-pair 的 16 B，两条 NT 存一起写（`d+=16`）。
// 代价账：每 2 个 k-pair 由「8 条 load + 6 条 unpack + 2 条存」降到「**4 条 load + 4 条 unpack + 2 条存**」
// （load 减半、unpack 由每 k-pair 3 条降到 2 条）；每个 k-pair 的**输出字节与地址逐位不变**。
// 依据：`fs3_` 建议的"1k 上仅剩可试的两条"之一（他未做）；`PACK` 相位在 1k 上是 2.16 Mcyc，
// 而它的 DRAM 流量地板只有 ≈0.54 Mcyc ⇒ 有 ~1 Mcyc 的停等/发射余量。
// 安全性：叶内 `n == BASE == 64` 恒成立（该分支是 `n > BASE` 的 else）⇒ `k+=4` 恰好整除，无尾部。
// 正确性：与基座逐位相同（`mx_chk` n=256/512/1024 全 `bad=0`，FNV 与 `#105434` 逐位相等）。
// ================
// ===== REFERENCES =====
// [1] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #105329（mmms2k）
// <https://duck.ac/submission/105329>（83.431671 ms）：**本文件正文基座**（兄弟 lane `fs3_` 产出：
// `pack` 改非临时存 + 每结点收尾 `c11 += P1` 折进 P2 子乘法）。本文件把它移植到 n=1024
// （只改 `MAXN` 与 packed-A 的 arena 偏移两处常量，与 `#104306` 的同一组取值）。
// [2] 本账号提交 #105292 / #105399 <https://duck.ac/submission/105292> <https://duck.ac/submission/105399>
// ：工作区搬进 C 缓冲区（删 W(1024)≈1.39 MB 的 .bss 首触），本发叠加其上。
// [3] 本账号 #104306 / #104196 / #103100 与 pdoom #86352 的 Strassen-Winograd 引擎谱系。
// ======================
// ===== 思路 =====
// 正式提交：把**三条各自单变量定价过的刀**合成到 n=1024 的同一份正文上：
// (a) `pack` 输出改非临时存（`#105329` 的一半）—— 删掉 pa/pb 共 4 MB 的写分配 RFO 读（1k 上实测 −0.48%）；
// (b) 每结点收尾 `c11 += P1` 折进 P2 子乘法（`#105329` 的另一半）—— 少一整趟 q 元素的 3 访存；
// (c) **递归工作区从 `ws_` 搬进 `C` 的缓冲区**（`#105292`）—— `unpack((U*)C, pc, n, n)` 整块覆写 C，
// 工作区在 `mul` 返回后即弃 ⇒ 生命周期不重叠 ⇒ 删掉 W(1024) ≈ 1.39 MB 的 .bss 首触。
// 容量：W(1024) = 2·512² + W(512) = 524288 + 43008 = ... ⇒ 高水位 = 1024 + 696320 = 697344 < n² = 1048576 ✓
// 三者作用面互不重叠（写路径 RFO / 尾结点访存 / .bss 首触页）⇒ 预期按绝对增益叠加。
// 正确性：与 `#105399` 的正文相比，只把两处 `mul` 形状改回 `#105329` 的 `mul`/`mul_sub` 对（按 `fs3_` 的
// "`mul` 签名不动、折叠逻辑独立成 `mul_sub` 胶水函数" 形态，**避免 gcc 9.3 的 IPA-CP 克隆**，该坑实测 +15.3%）。
// ================
// ===== REFERENCES =====
// [1] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #105329（mmms2k）
// <https://duck.ac/submission/105329>（83.431671 ms）：**本文件正文基座**（兄弟 lane `fs3_` 产出：
// `pack` 改非临时存 + 每结点收尾 `c11 += P1` 折进 P2 子乘法）。
// [2] 本账号提交 #105296 <https://duck.ac/submission/105296>（工作区搬进 C 缓冲区，83.747364 ms）
// 与 #105419 <https://duck.ac/submission/105419>（= #105296 + `pack` 非临时存，83.233423 ms）：
// 本发把 [2] 的那一处"工作区搬进 C"叠到 [1] 之上。
// [3] 本账号 #104196 / #103100 与 pdoom #86352 的 Strassen-Winograd 引擎谱系。
// ======================
// ===== 思路 =====
// 正式提交：把**三条各自单变量定价过的刀**合成到同一份正文上：
// (a) `pack` 输出改非临时存（`#105329` 的一半）—— 删掉 pa/pb 共 ≈16.8 MB 的写分配 RFO 读；
// (b) 每结点收尾 `c11 += P1` 折进 P2 子乘法（`#105329` 的另一半）—— 少一整趟 q 元素的 3 访存；
// (c) **递归工作区从 `ws_` 搬进 `C` 的缓冲区**（我方的 `#105296`/`#105419`）——
// `unpack((U*)C, pc, n, n)` 会整块覆写 C，而工作区在 `mul` 返回后即弃 ⇒ 生命周期不重叠
// ⇒ 删掉 W(2048) ≈ 5.6 MB 的 .bss 首触。★ 保留 `+1024` 偏移（原 `ws = ws_ + 1024` 的相位）。
// 容量：W(2048) = 2·1024² + W(1024) = 2097152 + 696320 = 2793472；起点 +1024 ⇒ 高水位 2794496 < n² = 4194304 ✓
// 三者的作用面互不重叠（RFO 写路径 / 尾结点访存 / .bss 首触页）⇒ 预期按绝对增益叠加。
// 正确性：与 `#105329` 的正文相比只改了**一处实参**（工作区的所在地），
// `mul`/`mul_sub`/`pack`/`mikro`/`combine`/`unpack` 的算术与地址表达式一字未动。
// ================
// ===== REFERENCES =====
// [1] duck.ac 用户 pdoom，提交 #86352 <https://duck.ac/submission/86352>
// 用途：本题源码整体直接复制自该提交，包括：Strassen-Winograd（7 乘 15 加、
// Z/2^16 精确）递归结构、递归四象限 packing、BASE=64、4 行 x 24 列 AVX2 微内核
// （vpbroadcastd 广播 32 位 (A[i][k],A[i][k+1])、B panel k/k+1 两行 16 位交错、
// vpmaddwd+vpaddd），以及 combine/base/unpack 的实现。
// [2] duck.ac 用户 saffah_cc_v41_260924，提交 #96771 <https://duck.ac/submission/96771>
// 用途：参考了思想（未复制代码）——记录了 4-KB 同余（row stride / arena slot 步长为 q
// 元素时所有 block 4-KB 对齐）会导致 L2/L3 set 冲突，并给出了错开 arena 起始地址的实测收益。
// [3] duck.ac 用户 saffah_codex_6s_agg2，提交 #102935 <https://duck.ac/submission/102935>
// 用途：直接复制了 micro24 / micro16 两个微内核内层循环里 vpmaddwd 的指令次序。
// [4] duck.ac 用户 saffah_codex_6s_agg2，提交 #103969 / #103975
// <https://duck.ac/submission/103969> <https://duck.ac/submission/103975>
// 用途：参考了思想——该账号把本账号 mmms4k 提交 #103100
// <https://duck.ac/submission/103100> 的同一份源码原样改 MAXN 与 packed-A arena 偏移
// 后交到 n=1024 / n=2048，本文件沿用该 arena 偏移选择。
// [5] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #103100 / #104196
// <https://duck.ac/submission/103100> <https://duck.ac/submission/104196>
// 用途：本文件正文直接复制自 #104196（微内核首组 k-pair 剥皮 peel，省去每次调用
// 12 条 vpxor 与首轮 12 条 vpaddd）。
// ======================
// ===== 思路 =====
// // 本发 = #104196 的单变量改动：把每个递归节点的最后一步 `combine<false>(c11,c11,y,q)`
// // （即 C11 += P1，一趟 2 读 1 写 = 3 次访存/元素）折叠进写下 c11 的那个子乘法 P2 里。
// // 做法与理由（BLAS 里 beta*C 折叠的同一手法）：
// // * 原：`mul(a12,b21,c11,h,next); combine<false>(c11,c11,y,q);`
// // —— P2 先把 c11 整块写出来，随后父节点再把 y 整块读回来加进去。
// // * 新：`mul(a12,b21,c11,h,next, y)` —— mul 多一个 `ysub` 参数；它的 epilogue
// // （收尾 6 读 3 写那趟 + 自己的 C11 相加）顺手把 ysub 的四个象限各加一次，
// // 父节点不再单独走一趟。
// // * 账：父节点省掉 3 次访存/元素（2 读 1 写），子节点只多出 1 次读/元素
// // （ysub 的 4 个象限正好覆盖 c11 的 4 个象限）⇒ 净省 2 次访存/元素。
// // 全树 Σq = 21.55e6 元素 ⇒ combine 相位 59.4 Mcyc 中约 1/9 被换成 1/3，
// // 判题机同二进制 in-situ A/B 实测（`work/fs3_ab3.cpp`，A/B 两臂各自独立
// // namespace、无热路径分支）Δ = −0.11%；本地 g++ 15 上 −1.1%。
// // * 只在 `h > BASE` 时折叠（否则子节点走 base()，没有可折叠的收尾趟）；
// // 收到 ysub 的节点不再向下传递，改由它自己的收尾趟一次性加 y_local 与 ysub。
// // 正确性：`work/fs3_ab3.cpp` 两臂 FNV 校验和逐位相同；
// // 另在 `work/fs3_dbg.cpp` 上对 n=64/128/256 全量朴素对拍 bad=0。
// // 目的：单变量定价"把一趟 3 访存的 combine 折进已有写入"这一族变换。
// ================
#pragma GCC optimize("O3,unroll-loops")
#pragma GCC target("avx2")
#include <immintrin.h>
#include <stdint.h>
#include <string.h>
#ifndef BASE
#define BASE 64
#endif
using U = uint16_t;
alignas(32) static const unsigned char single_shuffle_mask[32] = {0,1,4,5,8,9,12,13,128,128,128,128,128,128,128,128,0,1,4,5,8,9,12,13,128,128,128,128,128,128,128,128};
static constexpr int MAXN = 1024;
alignas(4096) static U pa_[MAXN * MAXN + 8192], pb_[MAXN * MAXN + 8192];
alignas(4096) static U pc_[MAXN * MAXN + 8192], ws_[MAXN * MAXN + 8192];
static U *pa = pa_ + 0, *pb = pb_ + 0, *pc = pc_ + 0, *ws = ws_ + 1024;
static inline __m256i ld(const U *p) {
return _mm256_load_si256((const __m256i *)p);
}
static inline void st(U *p, __m256i x) {
_mm256_store_si256((__m256i *)p, x);
}
// The recursive quadrant layout makes every Strassen addition contiguous.
static void pack(U *d, const U *s, int n, int stride, bool right) {
if (n > BASE) {
int h = n / 2, q = h * h;
pack(d, s, h, stride, right);
pack(d + q, s + h, h, stride, right);
pack(d + 2*q, s + h*stride, h, stride, right);
pack(d + 3*q, s + h*stride + h, h, stride, right);
} else if (!right) {
/* 每次读 8 字节 = 4 个 k（2 个 k-pair），两个 k-pair 的输出都由这一组 load 得到：
低 64 位 = k-pair p；高 64 位 = k-pair p+1 ⇒ 每 2 个 k-pair 只付 4 条 load、2 条 unpacklo_epi32。 */
for(int i=0;i<n;i+=4) for(int k=0;k<n;k+=4) {
__m128i a0=_mm_loadl_epi64((const __m128i*)(s+(i+0)*stride+k));
__m128i a1=_mm_loadl_epi64((const __m128i*)(s+(i+1)*stride+k));
__m128i a2=_mm_loadl_epi64((const __m128i*)(s+(i+2)*stride+k));
__m128i a3=_mm_loadl_epi64((const __m128i*)(s+(i+3)*stride+k));
__m128i t01=_mm_unpacklo_epi32(a0,a1), t23=_mm_unpacklo_epi32(a2,a3);
_mm_stream_si128((__m128i*)d, _mm_unpacklo_epi64(t01,t23));
_mm_stream_si128((__m128i*)(d+8),_mm_unpackhi_epi64(t01,t23));
d+=16;
}
} else {
/* B 侧叶：一次处理 4 行（k 步长 2→4）⇒ 每趟 4 条 16 B 载入同时在飞（原来只有 2 条）。
输出寻址推导：某 (k,t) 对的输出块在 `((k/2)*(w/8) + t/8)*16` 元素处；
故行 k,k+1 的块在 `db`、行 k+2,k+3 的块在 `db + (w/8)*16`，两者每 t 步各 +16。 */
for(int j=0;j<n;) {
int w=n-j>=24?24:n-j;
U *db=d;
for(int k=0;k<n;k+=4) {
U *dp=db, *dp2=db+(size_t)(w/8)*16;
for(int t=0;t<w;t+=8) {
__m128i x=_mm_load_si128((const __m128i*)(s+(size_t)k*stride+j+t));
__m128i y=_mm_load_si128((const __m128i*)(s+(size_t)(k+1)*stride+j+t));
__m128i z=_mm_load_si128((const __m128i*)(s+(size_t)(k+2)*stride+j+t));
__m128i u=_mm_load_si128((const __m128i*)(s+(size_t)(k+3)*stride+j+t));
__m128i lo=_mm_unpacklo_epi16(x,y),hi=_mm_unpackhi_epi16(x,y);
__m128i lo2=_mm_unpacklo_epi16(z,u),hi2=_mm_unpackhi_epi16(z,u);
_mm_stream_si128((__m128i*)dp,lo);
_mm_stream_si128((__m128i*)(dp+8),hi);
_mm_stream_si128((__m128i*)dp2,lo2);
_mm_stream_si128((__m128i*)(dp2+8),hi2);
dp+=16; dp2+=16;
}
db+=(size_t)(w/8)*32;
}
d+=(size_t)(w/8)*16*(size_t)(n/2); /* 本 j 组共 n/2 个 k-pair 组 × (w/8) 块 × 16 元素 */
j+=w;
}
}
}
static void unpack(U *d, const U *s, int n, int stride) {
if (n > BASE) {
int h = n/2, q = h*h;
unpack(d,s,h,stride);
unpack(d+h,s+q,h,stride);
unpack(d+h*stride,s+2*q,h,stride);
unpack(d+h*stride+h,s+3*q,h,stride);
} else {
for (int i=0;i<n;++i) {
U *dp = d + (size_t)i*stride; const U *sp = s + (size_t)i*n;
int k=0;
for (;k+32<=n;k+=32) {
_mm256_stream_si256((__m256i*)(dp+k), _mm256_load_si256((const __m256i*)(sp+k)));
_mm256_stream_si256((__m256i*)(dp+k+16), _mm256_load_si256((const __m256i*)(sp+k+16)));
}
for (;k<n;k+=16) _mm256_storeu_si256((__m256i*)(dp+k), _mm256_loadu_si256((const __m256i*)(sp+k)));
}
}
}
static inline void micro24(const U *a,const U *b,U *c,int n) {
const U *end=a+4*n; U *c3=c+3*n; intptr_t stride=2*n;
asm volatile(
"prefetchnta 384(%[b])\n\t"
"vmovdqa 0(%[b]), %%ymm12\n\t"
"vmovdqa 32(%[b]), %%ymm13\n\t"
"vpbroadcastd 0(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm1\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm2\n\t"
"vpbroadcastd 4(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm4\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm5\n\t"
"vpbroadcastd 8(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm7\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm8\n\t"
"vpbroadcastd 12(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm10\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm11\n\t"
"vmovdqa 96(%[b]), %%ymm12\n\t"
"vmovdqa 128(%[b]), %%ymm13\n\t"
"vpbroadcastd 16(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 20(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 24(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
"vpaddd %%ymm14, %%ymm8, %%ymm8\n\t"
"vpbroadcastd 28(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm9, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm14, %%ymm11, %%ymm11\n\t"
"vmovdqa 192(%[b]), %%ymm12\n\t"
"vmovdqa 224(%[b]), %%ymm13\n\t"
"vpbroadcastd 32(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 36(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 40(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
"vpaddd %%ymm14, %%ymm8, %%ymm8\n\t"
"vpbroadcastd 44(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm9, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm14, %%ymm11, %%ymm11\n\t"
"vmovdqa 288(%[b]), %%ymm12\n\t"
"vmovdqa 320(%[b]), %%ymm13\n\t"
"vpbroadcastd 48(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 52(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 56(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
"vpaddd %%ymm14, %%ymm8, %%ymm8\n\t"
"vpbroadcastd 60(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm9, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm14, %%ymm11, %%ymm11\n\t"
"add $64, %[a]\n\t"
"add $384, %[b]\n\t"
"cmp %[end], %[a]\n\t"
"jae 2f\n\t"
".p2align 4\n\t"
"1:\n\t"
"prefetchnta 384(%[b])\n\t"
"vmovdqa 0(%[b]), %%ymm12\n\t"
"vmovdqa 32(%[b]), %%ymm13\n\t"
"vpbroadcastd 0(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 4(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 8(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
"vpaddd %%ymm14, %%ymm8, %%ymm8\n\t"
"vpbroadcastd 12(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm9, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 64(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm14, %%ymm11, %%ymm11\n\t"
"vmovdqa 96(%[b]), %%ymm12\n\t"
"vmovdqa 128(%[b]), %%ymm13\n\t"
"vpbroadcastd 16(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 20(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 24(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
"vpaddd %%ymm14, %%ymm8, %%ymm8\n\t"
"vpbroadcastd 28(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm9, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 160(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm14, %%ymm11, %%ymm11\n\t"
"vmovdqa 192(%[b]), %%ymm12\n\t"
"vmovdqa 224(%[b]), %%ymm13\n\t"
"vpbroadcastd 32(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 36(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 40(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
"vpaddd %%ymm14, %%ymm8, %%ymm8\n\t"
"vpbroadcastd 44(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm9, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 256(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm14, %%ymm11, %%ymm11\n\t"
"vmovdqa 288(%[b]), %%ymm12\n\t"
"vmovdqa 320(%[b]), %%ymm13\n\t"
"vpbroadcastd 48(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 52(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 56(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
"vpaddd %%ymm14, %%ymm8, %%ymm8\n\t"
"vpbroadcastd 60(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm9, %%ymm9\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm15\n\t"
"vpmaddwd 352(%[b]), %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm14, %%ymm11, %%ymm11\n\t"
"add $64, %[a]\n\t"
"add $384, %[b]\n\t"
"cmp %[end], %[a]\n\t"
"jb 1b\n\t"
"2:\n\t"
"vpcmpeqd %%ymm13, %%ymm13, %%ymm13\n\t"
"vpsrld $16, %%ymm13, %%ymm13\n\t"
"vmovdqa %[shuf], %%ymm12\n\t"
"vpand %%ymm13, %%ymm0, %%ymm0\n\t"
"vpand %%ymm13, %%ymm1, %%ymm1\n\t"
"vpackusdw %%ymm1, %%ymm0, %%ymm0\n\t"
"vpermq $216, %%ymm0, %%ymm0\n\t"
"vmovdqu %%ymm0, 0(%[c])\n\t"
"vpshufb %%ymm12, %%ymm2, %%ymm2\n\t"
"vpermq $216, %%ymm2, %%ymm2\n\t"
"vmovdqu %%xmm2, 32(%[c])\n\t"
"vpand %%ymm13, %%ymm3, %%ymm3\n\t"
"vpand %%ymm13, %%ymm4, %%ymm4\n\t"
"vpackusdw %%ymm4, %%ymm3, %%ymm3\n\t"
"vpermq $216, %%ymm3, %%ymm3\n\t"
"vmovdqu %%ymm3, 0(%[c],%[s],1)\n\t"
"vpshufb %%ymm12, %%ymm5, %%ymm5\n\t"
"vpermq $216, %%ymm5, %%ymm5\n\t"
"vmovdqu %%xmm5, 32(%[c],%[s],1)\n\t"
"vpand %%ymm13, %%ymm6, %%ymm6\n\t"
"vpand %%ymm13, %%ymm7, %%ymm7\n\t"
"vpackusdw %%ymm7, %%ymm6, %%ymm6\n\t"
"vpermq $216, %%ymm6, %%ymm6\n\t"
"vmovdqu %%ymm6, 0(%[c],%[s],2)\n\t"
"vpshufb %%ymm12, %%ymm8, %%ymm8\n\t"
"vpermq $216, %%ymm8, %%ymm8\n\t"
"vmovdqu %%xmm8, 32(%[c],%[s],2)\n\t"
"vpand %%ymm13, %%ymm9, %%ymm9\n\t"
"vpand %%ymm13, %%ymm10, %%ymm10\n\t"
"vpackusdw %%ymm10, %%ymm9, %%ymm9\n\t"
"vpermq $216, %%ymm9, %%ymm9\n\t"
"vmovdqu %%ymm9, 0(%[c3])\n\t"
"vpshufb %%ymm12, %%ymm11, %%ymm11\n\t"
"vpermq $216, %%ymm11, %%ymm11\n\t"
"vmovdqu %%xmm11, 32(%[c3])\n\t"
: [a] "+&r"(a), [b] "+&r"(b)
: [c] "r"(c), [c3] "r"(c3), [s] "r"(stride), [end] "r"(end), [shuf] "m"(single_shuffle_mask)
: "cc", "memory", "ymm0", "ymm1", "ymm2", "ymm3", "ymm4", "ymm5", "ymm6", "ymm7", "ymm8", "ymm9", "ymm10", "ymm11", "ymm12", "ymm13", "ymm14", "ymm15");
}
static inline void micro16(const U *a,const U *b,U *c,int n) {
const U *end=a+4*n; U *c3=c+3*n; intptr_t stride=2*n;
asm volatile(
"vmovdqa 0(%[b]), %%ymm12\n\t"
"vmovdqa 32(%[b]), %%ymm13\n\t"
"vpbroadcastd 0(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm0\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm1\n\t"
"vpbroadcastd 4(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm2\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm3\n\t"
"vpbroadcastd 8(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm4\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm5\n\t"
"vpbroadcastd 12(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm6\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm7\n\t"
"vmovdqa 64(%[b]), %%ymm12\n\t"
"vmovdqa 96(%[b]), %%ymm13\n\t"
"vpbroadcastd 16(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm14, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 20(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm14, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 24(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 28(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm14, %%ymm7, %%ymm7\n\t"
"vmovdqa 128(%[b]), %%ymm12\n\t"
"vmovdqa 160(%[b]), %%ymm13\n\t"
"vpbroadcastd 32(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm14, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 36(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm14, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 40(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 44(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm14, %%ymm7, %%ymm7\n\t"
"vmovdqa 192(%[b]), %%ymm12\n\t"
"vmovdqa 224(%[b]), %%ymm13\n\t"
"vpbroadcastd 48(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm14, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 52(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm14, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 56(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 60(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm14, %%ymm7, %%ymm7\n\t"
"add $64, %[a]\n\t"
"add $256, %[b]\n\t"
"cmp %[end], %[a]\n\t"
"jae 2f\n\t"
".p2align 3\n\t"
"1:\n\t"
"vmovdqa 0(%[b]), %%ymm12\n\t"
"vmovdqa 32(%[b]), %%ymm13\n\t"
"vpbroadcastd 0(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm14, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 4(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm14, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 8(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 12(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm14, %%ymm7, %%ymm7\n\t"
"vmovdqa 64(%[b]), %%ymm12\n\t"
"vmovdqa 96(%[b]), %%ymm13\n\t"
"vpbroadcastd 16(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm14, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 20(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm14, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 24(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 28(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm14, %%ymm7, %%ymm7\n\t"
"vmovdqa 128(%[b]), %%ymm12\n\t"
"vmovdqa 160(%[b]), %%ymm13\n\t"
"vpbroadcastd 32(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm14, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 36(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm14, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 40(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 44(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm14, %%ymm7, %%ymm7\n\t"
"vmovdqa 192(%[b]), %%ymm12\n\t"
"vmovdqa 224(%[b]), %%ymm13\n\t"
"vpbroadcastd 48(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm14, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 52(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm14, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 56(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm14, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 60(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpmaddwd %%ymm13, %%ymm14, %%ymm14\n\t"
"vpaddd %%ymm15, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm14, %%ymm7, %%ymm7\n\t"
"add $64, %[a]\n\t"
"add $256, %[b]\n\t"
"cmp %[end], %[a]\n\t"
"jb 1b\n\t"
"2:\n\t"
"vpcmpeqd %%ymm13, %%ymm13, %%ymm13\n\t"
"vpsrld $16, %%ymm13, %%ymm13\n\t"
"vpand %%ymm13, %%ymm0, %%ymm0\n\t"
"vpand %%ymm13, %%ymm1, %%ymm1\n\t"
"vpackusdw %%ymm1, %%ymm0, %%ymm0\n\t"
"vpermq $216, %%ymm0, %%ymm0\n\t"
"vmovdqu %%ymm0, 0(%[c])\n\t"
"vpand %%ymm13, %%ymm2, %%ymm2\n\t"
"vpand %%ymm13, %%ymm3, %%ymm3\n\t"
"vpackusdw %%ymm3, %%ymm2, %%ymm2\n\t"
"vpermq $216, %%ymm2, %%ymm2\n\t"
"vmovdqu %%ymm2, 0(%[c],%[s],1)\n\t"
"vpand %%ymm13, %%ymm4, %%ymm4\n\t"
"vpand %%ymm13, %%ymm5, %%ymm5\n\t"
"vpackusdw %%ymm5, %%ymm4, %%ymm4\n\t"
"vpermq $216, %%ymm4, %%ymm4\n\t"
"vmovdqu %%ymm4, 0(%[c],%[s],2)\n\t"
"vpand %%ymm13, %%ymm6, %%ymm6\n\t"
"vpand %%ymm13, %%ymm7, %%ymm7\n\t"
"vpackusdw %%ymm7, %%ymm6, %%ymm6\n\t"
"vpermq $216, %%ymm6, %%ymm6\n\t"
"vmovdqu %%ymm6, 0(%[c3])\n\t"
: [a] "+&r"(a), [b] "+&r"(b)
: [c] "r"(c), [c3] "r"(c3), [s] "r"(stride), [end] "r"(end)
: "cc", "memory", "ymm0", "ymm1", "ymm2", "ymm3", "ymm4", "ymm5", "ymm6", "ymm7", "ymm8", "ymm9", "ymm10", "ymm11", "ymm12", "ymm13", "ymm14", "ymm15");
}
static inline void micro8(const U *a,const U *b,U *c,int n) {
const U *end=a+4*n; U *c3=c+3*n; intptr_t stride=2*n;
asm volatile(
"vmovdqa 0(%[b]), %%ymm12\n\t"
"vpbroadcastd 0(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm0\n\t"
"vpbroadcastd 4(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm1\n\t"
"vpbroadcastd 8(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm2\n\t"
"vpbroadcastd 12(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm3\n\t"
"vmovdqa 32(%[b]), %%ymm12\n\t"
"vpbroadcastd 16(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpbroadcastd 20(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 24(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 28(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vmovdqa 64(%[b]), %%ymm12\n\t"
"vpbroadcastd 32(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpbroadcastd 36(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 40(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 44(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vmovdqa 96(%[b]), %%ymm12\n\t"
"vpbroadcastd 48(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpbroadcastd 52(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 56(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 60(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"add $64, %[a]\n\t"
"add $128, %[b]\n\t"
"cmp %[end], %[a]\n\t"
"jae 2f\n\t"
".p2align 5\n\t"
"1:\n\t"
"vmovdqa 0(%[b]), %%ymm12\n\t"
"vpbroadcastd 0(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpbroadcastd 4(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 8(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 12(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vmovdqa 32(%[b]), %%ymm12\n\t"
"vpbroadcastd 16(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpbroadcastd 20(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 24(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 28(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vmovdqa 64(%[b]), %%ymm12\n\t"
"vpbroadcastd 32(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpbroadcastd 36(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 40(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 44(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"vmovdqa 96(%[b]), %%ymm12\n\t"
"vpbroadcastd 48(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm0, %%ymm0\n\t"
"vpbroadcastd 52(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 56(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm2, %%ymm2\n\t"
"vpbroadcastd 60(%[a]), %%ymm14\n\t"
"vpmaddwd %%ymm12, %%ymm14, %%ymm15\n\t"
"vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
"add $64, %[a]\n\t"
"add $128, %[b]\n\t"
"cmp %[end], %[a]\n\t"
"jb 1b\n\t"
"2:\n\t"
"vpcmpeqd %%ymm13, %%ymm13, %%ymm13\n\t"
"vpsrld $16, %%ymm13, %%ymm13\n\t"
"vpand %%ymm13, %%ymm0, %%ymm0\n\t"
"vpackusdw %%ymm0, %%ymm0, %%ymm0\n\t"
"vpermq $216, %%ymm0, %%ymm0\n\t"
"vmovdqu %%xmm0, 0(%[c])\n\t"
"vpand %%ymm13, %%ymm1, %%ymm1\n\t"
"vpackusdw %%ymm1, %%ymm1, %%ymm1\n\t"
"vpermq $216, %%ymm1, %%ymm1\n\t"
"vmovdqu %%xmm1, 0(%[c],%[s],1)\n\t"
"vpand %%ymm13, %%ymm2, %%ymm2\n\t"
"vpackusdw %%ymm2, %%ymm2, %%ymm2\n\t"
"vpermq $216, %%ymm2, %%ymm2\n\t"
"vmovdqu %%xmm2, 0(%[c],%[s],2)\n\t"
"vpand %%ymm13, %%ymm3, %%ymm3\n\t"
"vpackusdw %%ymm3, %%ymm3, %%ymm3\n\t"
"vpermq $216, %%ymm3, %%ymm3\n\t"
"vmovdqu %%xmm3, 0(%[c3])\n\t"
: [a] "+&r"(a), [b] "+&r"(b)
: [c] "r"(c), [c3] "r"(c3), [s] "r"(stride), [end] "r"(end)
: "cc", "memory", "ymm0", "ymm1", "ymm2", "ymm3", "ymm4", "ymm5", "ymm6", "ymm7", "ymm8", "ymm9", "ymm10", "ymm11", "ymm12", "ymm13", "ymm14", "ymm15");
}
static void base(const U *a,const U *b,U *c,int n) {
int j=0;
for(;j+24<=n;j+=24)
for(int i=0;i<n;i+=4) micro24(a+i*n,b+j*n,c+i*n+j,n);
if(n-j==16)
for(int i=0;i<n;i+=4) micro16(a+i*n,b+j*n,c+i*n+j,n);
if(n-j==8)
for(int i=0;i<n;i+=4) micro8(a+i*n,b+j*n,c+i*n+j,n);
}
template<bool Sub>
static inline void combine(U *d,const U *a,const U *b,int len) {
for(int i=0;i<len;i+=16) {
__m256i x=ld(a+i),y=ld(b+i);
st(d+i,Sub?_mm256_sub_epi16(x,y):_mm256_add_epi16(x,y));
}
}
// Strassen-Winograd: seven products, fifteen additions, two temporaries.
// All operations are in Z/(2^16); truncation never changes the answer.
static void mul_sub(const U *a,const U *b,U *c,int n,U *work,const U *ysub);
static void mul(const U *a,const U *b,U *c,int n,U *work) {
if(n<=BASE) { base(a,b,c,n); return; }
int h=n/2,q=h*h;
const U *a11=a,*a12=a+q,*a21=a+2*q,*a22=a+3*q;
const U *b11=b,*b12=b+q,*b21=b+2*q,*b22=b+3*q;
U *c11=c,*c12=c+q,*c21=c+2*q,*c22=c+3*q;
U *x=work,*y=work+q,*next=work+2*q;
combine<true>(x,a11,a21,q);
combine<true>(y,b22,b12,q);
mul(x,y,c21,h,next); // P7
combine<false>(x,a21,a22,q);
combine<true>(y,b12,b11,q);
mul(x,y,c22,h,next); // P5
combine<true>(x,x,a11,q);
combine<true>(y,b22,y,q);
mul(x,y,c12,h,next); // P6
combine<true>(x,a12,x,q);
mul(x,b22,c11,h,next); // P3
combine<true>(y,y,b21,q);
mul(a22,y,x,h,next); // P4
mul(a11,b11,y,h,next); // P1
for(int i=0;i<q;i+=16) {
__m256i u2=_mm256_add_epi16(ld(y+i),ld(c12+i));
__m256i u3=_mm256_add_epi16(u2,ld(c21+i));
__m256i p5=ld(c22+i);
st(c12+i,_mm256_add_epi16(_mm256_add_epi16(u2,p5),ld(c11+i)));
st(c21+i,_mm256_sub_epi16(u3,ld(x+i)));
st(c22+i,_mm256_add_epi16(u3,p5));
}
{ if (h>BASE) mul_sub(a12,b21,c11,h,next,y);
else { mul(a12,b21,c11,h,next); combine<false>(c11,c11,y,q); } }
}
static void mul_sub(const U *a,const U *b,U *c,int n,U *work,const U *ysub) {
int h=n/2,q=h*h;
const U *a11=a,*a12=a+q,*a21=a+2*q,*a22=a+3*q;
const U *b11=b,*b12=b+q,*b21=b+2*q,*b22=b+3*q;
U *c11=c,*c12=c+q,*c21=c+2*q,*c22=c+3*q;
U *x=work,*y=work+q,*next=work+2*q;
combine<true>(x,a11,a21,q);
combine<true>(y,b22,b12,q);
mul(x,y,c21,h,next); // P7
combine<false>(x,a21,a22,q);
combine<true>(y,b12,b11,q);
mul(x,y,c22,h,next); // P5
combine<true>(x,x,a11,q);
combine<true>(y,b22,y,q);
mul(x,y,c12,h,next); // P6
combine<true>(x,a12,x,q);
mul(x,b22,c11,h,next); // P3
combine<true>(y,y,b21,q);
mul(a22,y,x,h,next); // P4
mul(a11,b11,y,h,next); // P1
{
const U *s12=ysub+q,*s21=ysub+2*q,*s22=ysub+3*q;
for(int i=0;i<q;i+=16) {
__m256i u2=_mm256_add_epi16(ld(y+i),ld(c12+i));
__m256i u3=_mm256_add_epi16(u2,ld(c21+i));
__m256i p5=ld(c22+i);
st(c12+i,_mm256_add_epi16(_mm256_add_epi16(_mm256_add_epi16(u2,p5),ld(c11+i)),ld(s12+i)));
st(c21+i,_mm256_add_epi16(_mm256_sub_epi16(u3,ld(x+i)),ld(s21+i)));
st(c22+i,_mm256_add_epi16(_mm256_add_epi16(u3,p5),ld(s22+i)));
}
}
mul(a12,b21,c11,h,next); // P2
for(int i=0;i<q;i+=16)
st(c11+i,_mm256_add_epi16(_mm256_add_epi16(ld(c11+i),ld(y+i)),ld(ysub+i)));
}
void matrix_multiply(int n,const short *A,const short *B,short *C) {
pack(pa,(const U *)A,n,n,false);
pack(pb,(const U *)B,n,n,true);
_mm_sfence();
mul(pa,pb,pc,n,(U*)C + 1024); /* ★ 工作区搬进 C 的缓冲区（unpack 会整块覆写 C） */
unpack((U *)C,pc,n,n);
_mm_sfence();
}
| Compilation | N/A | N/A | Compile OK | Score: N/A | 显示更多 |
| Testcase #1 | 11.865 ms | 8 MB + 12 KB | Accepted | Score: 100 | 显示更多 |