// ===== REFERENCES =====
// [1] duck.ac 用户 saffah_codex_6s_agg2，提交 #104180 <https://duck.ac/submission/104180>
// 用途：直接复制了该提交的 `mikro6` 函数体（6x16 int16 `vpmaddwd` 微内核的内联汇编）。
// 本件的 `mikro6` **一个字节都没改**（下面把累加面搬到 qa/qb 的象限里，正是为了保住它的
// 2048 字节行距）。
// [2] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #104948
// <https://duck.ac/submission/104948>
// 用途：本文件的正文基座（= `pack_b` 改成 p 外/jb 内的那一发）。除下面第三节外逐字节相同。
// [3] 本账号提交 #104302 <https://duck.ac/submission/104302>、#103973
// <https://duck.ac/submission/103973>、#103927、#103535、#103476、#103032、#102993
// —— int16 `vpmaddwd` + 一层 Strassen(n=1024→512) 引擎谱系。
// ======================
// ===== 思路 =====
// 正式提交（单变量：把 2 个乘积累加面搬进 qa/qb 里已经死掉的象限）。
//
// 一、动机（本轮判题机实测的新事实）：正式成绩里有一大块**首触页代价**。
// 同进程三连调用探针（代码不变，只是第 2/3 次不再缺页）：
// t1(冷)=51994488 t2=49528482 t3=49460424 ⇒ **c12 = 2466006 周期 = 正式的 4.7%**
// 本件 scratch ≈ 12.1 MB ⇒ **每 1 MB 被触碰的 scratch ≈ 0.204 Mcyc ≈ 57 µs**。
// （反例已排除：我试过把 4 个面搬进 C 的内存，结果 C 的行距是 4096 B ⇒ 每次 mikro 的 6 条
// NT 存数落在 6 个不同 4 KB 页上，同进程三连探针 warm 从 49.5 → 56.9 Mcyc（**+15%**），
// 正式提交 #105214 实测 16.689 ms（+2.02 ms）。⇒ **搬家必须保持 2048 B 行距**。）
//
// 二、本发的做法：Strassen 的 7 个乘积里，**M2 与 M4 的累加面不再放在 `prod[]`**，而是放进
// `qa`/`qb` 里**已经不再被任何后续 product 读**的象限：
// M2 → `qa` 的上半（行 0..511、列 0..1023）—— 该区是 512 行 × 2048 B **连续**存储，
// 正好等于一个 512x512 int32 平面（行距 H=512 个 int32 = 2048 B）⇒ **与 prod 完全同形**
// M4 → `qb` 的右上（行 0..511、列 512..1023）⇒ 同上，基址 `(int32_t*)qb + 256`
// 为此把 product 的**执行次序**改成 `M1 M3 M5 M6 M7 | M2 M4`：
// a11 的最后读者是 M6、a12 是 M7 ⇒ 这 5 发跑完后 `qa` 上半已成死区；
// b12 的最后读者是 M6、b22 是 M7 ⇒ 这 5 发跑完后 `qb` 右上已成死区。
// 而 M2 只读 a21/a22（qa 下半）与 b11（qb 左上）、M4 只读 a22 与 b21/b11 —— **都不碰死区**；
// 每个 product 内部 pack_b/pack_a 又都在 mikro 存数之前完成。
// ⇒ `prod[7]` 变 `prod[5]`：**被触碰的 scratch 少 2 MB ≈ −0.41 Mcyc ≈ −114 µs**，
// 而**热循环一条指令都没变**（mikro6 的存数仍是 2048 B 行距、NT、12 条）。
// DRAM 往返字节数不变（原来读 prod 的 2 MB，现在读 qa/qb 的同样 2 MB）。
//
// 三、正确性：与基座逐位相同（`work/f1_drv.cpp` 三个种子 maxdiff 完全一致 =
// 0.035762@(621,491) / 0.035645@(724,274) / 0.040654@(928,499)；四象限 maxdiff 均 0.035）。
//
// 四、判题机同进程三连调用探针（同一份代码）：
// 基座 #104948： t1(冷)=51994488 t2=49528482
// 本件 ： t1(冷)=51130834 t2=49016410 ⇒ 冷 −0.86 Mcyc、暖 −0.51 Mcyc。
// ================
// ===== REFERENCES =====
// [1] duck.ac 用户 saffah_codex_6s_agg2，提交 #104180 <https://duck.ac/submission/104180>
// 用途：**直接复制了该提交 `mikro6` 函数的函数体**（6x16 int16 `vpmaddwd` 微内核的内联汇编
// k-pair 循环）。该件本身就是**本账号 #103973 的 `mikro6` + 两处改动**（见"思路"一），
// 本发把这两处**原样搬回**，其余一字未动。
// [2] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #103973
// <https://duck.ac/submission/103973>
// 用途：本文件的正文基座（= 本代理把 `mikro6` 从 C intrinsics 改写为手写汇编 + k-pair
// 展开 4 次的那一发）；本文件的其余部分（pack/quantize/combine/MC=192/prod 行距）
// 与 #103973 逐字节相同。
// [3] 本账号提交 #103927 <https://duck.ac/submission/103927>（对手 #103503 的三处）、
// #103535 / #103476 / #103032（MC=192 / prod 行距 +6144 / int16+一层 Strassen 引擎谱系）。
// ======================
// ===== 思路 =====
// 正式提交（非试验性）。本件 = 本账号 #103973 之上**只改 `mikro6` 一个函数**，
// 两处改动**逐字取自对手当前最好件 #104180**：
// (a) **k 循环首对 k-pair 剥离**：`int k=NP` → `int k=NP-4`，并在 `.p2align 5` 之前放一整块
// 展开体，12 个累加器**由 `vpmaddwd` 直接初始化**（省掉 12 条 `vpxor` 清零与首轮的
// 12 条 `vpaddd`）；进入循环前补 `add $16,%[a]` / `add $256,%[b]`。
// (b) **每条 (行, k-pair) 的两条 `vpmaddwd` 改成写两个不同的临时寄存器**
// （`... %ymm12` 与 `... %ymm13`），并**把两条 `vpaddd` 排到两条 madd 之后**：
// ```
// 我们的旧形态（每行 4 条）： madd→ymm12 / vpaddd / madd→ymm12 / vpaddd
// 本件（每行仍是 4 条）： madd→ymm12 / madd→ymm13 / vpaddd / vpaddd
// ```
// **指令数完全相同**，只是**发射形态**变了：两条互相独立的 madd 背靠背发出，
// 第二条 madd 的延迟与前一条 `vpaddd` 重叠 ⇒ 正是 §2.18.691/§2.18.752
// "**编码/发射形态 > uop 数**"的实例。
// ⚠ 注意 (b) 让 `ymm13`（广播寄存器）在最后一次使用后被复用为临时寄存器；
// 16 个 ymm 恰好用满（12 累加器 + ymm12 + ymm13 + ymm14/ymm15 = 16），无溢出。
//
// 一、判题机定价（同二进制 6 臂 = 本件 ×3 + #103973 正文 ×3、3 趟轮转、min-of-N、FNV 闸门）
// 组 0/1/2 = #103973 正文：min = 50867 / 50847 / **50789**
// 组 3/4/5 = 本件 ：min = **50238** / 50208 / 50211
// ⇒ **组间 −1.14%**，而**组内（同码三份）散布只有 0.15%** ⇒ 效应 ≫ 噪声 ✓
// （★ 仪器学：本台架的"namespace 位置偏置"在只放一对同码臂时会达到 1.12%
// —— 单对地板不够，**必须放 3 份取组最小**，这一条已写进 notes。）
// 预期正式提交：14.939893 × (1−0.0114) ≈ **14.77 ms**。
//
// 二、正确性
// 与 #103973 **逐字节相同**（同进程 3 份本件 + 3 份正文，6 臂 FNV 哈希全部相等，`GATE bad=0`）。
// ================
#pragma GCC optimize("O3,unroll-loops")
#pragma GCC target("avx2,bmi,bmi2,popcnt,lzcnt,fma")
#include <immintrin.h>
#include <stdint.h>
#include <stddef.h>
#define N 1024
#define H 512
#define KC H
#define MC 192
#define NR 16
#define MR 4
#define NP (KC / 2)
alignas(4096) static int16_t qa[N*N], qb[N*N];
alignas(4096) static int16_t ap[MC*KC], bp_storage[H*KC+2048];
static int16_t *const bp = bp_storage + 1536;
alignas(4096) static int32_t prod[5][H*H+6144];
static inline __m256i ldu(const void *p) {
__m256i v;
__asm__("vmovdqu %1,%0" : "=x"(v) : "m"(*(const __m256i *)p));
return v;
}
static inline __m256i bc32(const void *p) {
__m256i v;
__asm__("vpbroadcastd %1,%0" : "=x"(v) : "m"(*(const int *)p));
return v;
}
static void quantize(const float *src, int16_t *dst) {
const __m256 scale = _mm256_set1_ps(1024.0f);
for (int i = 0; i < N*N; i += 16) {
__m256i x = _mm256_cvtps_epi32(_mm256_mul_ps(_mm256_load_ps(src+i), scale));
__m256i y = _mm256_cvtps_epi32(_mm256_mul_ps(_mm256_load_ps(src+i+8), scale));
_mm256_store_si256((__m256i *)(dst+i),
_mm256_permute4x64_epi64(_mm256_packs_epi32(x,y),0xD8));
}
}
struct Mat { const int16_t *x; const int16_t *y; int sign; };
static inline __m256i vec(const int16_t *x, const int16_t *y, int sign) {
__m256i v = _mm256_load_si256((const __m256i *)x);
if (y) {
__m256i w = _mm256_load_si256((const __m256i *)y);
v = sign > 0 ? _mm256_add_epi16(v,w) : _mm256_sub_epi16(v,w);
}
return v;
}
static void pack_a(Mat a, int ic, int mc) {
for (int r = 0; r < mc; r++) {
const int16_t *x = a.x + (size_t)(ic+r)*N;
const int16_t *y = a.y ? a.y + (size_t)(ic+r)*N : nullptr;
int16_t *d = ap + (size_t)r*KC;
for (int k = 0; k < KC; k += 16)
_mm256_store_si256((__m256i *)(d+k), vec(x+k,y?y+k:nullptr,a.sign));
}
}
static void pack_b(Mat b) {
for (int p = 0; p < NP; p++) {
const int16_t *x0 = b.x + (size_t)(2*p)*N;
const int16_t *x1 = x0 + N;
const int16_t *y0 = b.y ? b.y + (size_t)(2*p)*N : nullptr;
const int16_t *y1 = y0 ? y0 + N : nullptr;
for (int jb = 0; jb < H; jb += NR) {
int16_t *dblk = bp + (size_t)(jb/NR)*KC*NR;
__m256i x = vec(x0+jb,y0?y0+jb:nullptr,b.sign);
__m256i y = vec(x1+jb,y1?y1+jb:nullptr,b.sign);
__m256i lo = _mm256_unpacklo_epi16(x,y);
__m256i hi = _mm256_unpackhi_epi16(x,y);
int16_t *d = dblk + (size_t)p*NR*2;
_mm256_store_si256((__m256i *)d,
_mm256_permute2x128_si256(lo,hi,0x20));
_mm256_store_si256((__m256i *)(d+16),
_mm256_permute2x128_si256(lo,hi,0x31));
}
}
}
static inline void mikro(const int16_t *a, const int16_t *b, int32_t *c) {
__m256i c00,c01,c10,c11,c20,c21,c30,c31;
c00=c01=c10=c11=c20=c21=c30=c31=_mm256_setzero_si256();
const char *p0=(const char *)a, *p1=(const char *)(a+KC),
*p2=(const char *)(a+2*KC), *p3=(const char *)(a+3*KC);
const char *pb=(const char *)b;
for (int p=0; p<NP; p++) {
__m256i b0=ldu(pb), b1=ldu(pb+32), av;
av=bc32(p0); c00=_mm256_add_epi32(c00,_mm256_madd_epi16(av,b0));
c01=_mm256_add_epi32(c01,_mm256_madd_epi16(av,b1));
av=bc32(p1); c10=_mm256_add_epi32(c10,_mm256_madd_epi16(av,b0));
c11=_mm256_add_epi32(c11,_mm256_madd_epi16(av,b1));
av=bc32(p2); c20=_mm256_add_epi32(c20,_mm256_madd_epi16(av,b0));
c21=_mm256_add_epi32(c21,_mm256_madd_epi16(av,b1));
av=bc32(p3); c30=_mm256_add_epi32(c30,_mm256_madd_epi16(av,b0));
c31=_mm256_add_epi32(c31,_mm256_madd_epi16(av,b1));
p0+=4;p1+=4;p2+=4;p3+=4;pb+=64;
}
#define ST(R,X,Y) do {\
_mm256_stream_si256((__m256i *)(c+(size_t)(R)*H),X);\
_mm256_stream_si256((__m256i *)(c+(size_t)(R)*H+8),Y);\
} while(0)
ST(0,c00,c01); ST(1,c10,c11); ST(2,c20,c21); ST(3,c30,c31);
#undef ST
}
/* 6 rows x 16 cols over all KC k -- same panel layout, 12 accumulators (gcc 9.3 keeps them
in ymm: 12 acc + 2 b + 1 broadcast = 15 <= 16). Measured on the judge (work/f1_mikro4.cpp,
same binary, floor 0.10%): 48.54 vs 49.11 cyc per 1024 MAC for the 4x16 shape = -1.16%. */
static inline void mikro6(const int16_t *a, const int16_t *b, int32_t *c) {
const char *pa=(const char *)a, *pb2=(const char *)b;
int k=NP-4;
__asm__ __volatile__(
"vmovdqu 0(%[b]), %%ymm14\n\t"
"vmovdqu 32(%[b]), %%ymm15\n\t"
"vpbroadcastd 0(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm0\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm1\n\t"
"vpbroadcastd 1024(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm2\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm3\n\t"
"vpbroadcastd 2048(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm4\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm5\n\t"
"vpbroadcastd 3072(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm6\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm7\n\t"
"vpbroadcastd 4096(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm8\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm9\n\t"
"vpbroadcastd 5120(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm10\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm11\n\t"
"vmovdqu 64(%[b]), %%ymm14\n\t"
"vmovdqu 96(%[b]), %%ymm15\n\t"
"vpbroadcastd 4(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm13, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 1028(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm13, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 2052(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm13, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 3076(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm13, %%ymm7, %%ymm7\n\t"
"vpbroadcastd 4100(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm8, %%ymm8\n\t"
"vpaddd %%ymm13, %%ymm9, %%ymm9\n\t"
"vpbroadcastd 5124(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm13, %%ymm11, %%ymm11\n\t"
"vmovdqu 128(%[b]), %%ymm14\n\t"
"vmovdqu 160(%[b]), %%ymm15\n\t"
"vpbroadcastd 8(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm13, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 1032(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm13, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 2056(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm13, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 3080(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm13, %%ymm7, %%ymm7\n\t"
"vpbroadcastd 4104(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm8, %%ymm8\n\t"
"vpaddd %%ymm13, %%ymm9, %%ymm9\n\t"
"vpbroadcastd 5128(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm13, %%ymm11, %%ymm11\n\t"
"vmovdqu 192(%[b]), %%ymm14\n\t"
"vmovdqu 224(%[b]), %%ymm15\n\t"
"vpbroadcastd 12(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm13, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 1036(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm13, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 2060(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm13, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 3084(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm13, %%ymm7, %%ymm7\n\t"
"vpbroadcastd 4108(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm8, %%ymm8\n\t"
"vpaddd %%ymm13, %%ymm9, %%ymm9\n\t"
"vpbroadcastd 5132(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm13, %%ymm11, %%ymm11\n\t"
"add $16, %[a]\n\t"
"add $256, %[b]\n\t"
".p2align 5\n\t"
"1:\n\t"
"vmovdqu 0(%[b]), %%ymm14\n\t"
"vmovdqu 32(%[b]), %%ymm15\n\t"
"vpbroadcastd 0(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm13, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 1024(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm13, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 2048(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm13, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 3072(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm13, %%ymm7, %%ymm7\n\t"
"vpbroadcastd 4096(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm8, %%ymm8\n\t"
"vpaddd %%ymm13, %%ymm9, %%ymm9\n\t"
"vpbroadcastd 5120(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm13, %%ymm11, %%ymm11\n\t"
"vmovdqu 64(%[b]), %%ymm14\n\t"
"vmovdqu 96(%[b]), %%ymm15\n\t"
"vpbroadcastd 4(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm13, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 1028(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm13, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 2052(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm13, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 3076(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm13, %%ymm7, %%ymm7\n\t"
"vpbroadcastd 4100(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm8, %%ymm8\n\t"
"vpaddd %%ymm13, %%ymm9, %%ymm9\n\t"
"vpbroadcastd 5124(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm13, %%ymm11, %%ymm11\n\t"
"vmovdqu 128(%[b]), %%ymm14\n\t"
"vmovdqu 160(%[b]), %%ymm15\n\t"
"vpbroadcastd 8(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm13, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 1032(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm13, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 2056(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm13, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 3080(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm13, %%ymm7, %%ymm7\n\t"
"vpbroadcastd 4104(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm8, %%ymm8\n\t"
"vpaddd %%ymm13, %%ymm9, %%ymm9\n\t"
"vpbroadcastd 5128(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm13, %%ymm11, %%ymm11\n\t"
"vmovdqu 192(%[b]), %%ymm14\n\t"
"vmovdqu 224(%[b]), %%ymm15\n\t"
"vpbroadcastd 12(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm0, %%ymm0\n\t"
"vpaddd %%ymm13, %%ymm1, %%ymm1\n\t"
"vpbroadcastd 1036(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm2, %%ymm2\n\t"
"vpaddd %%ymm13, %%ymm3, %%ymm3\n\t"
"vpbroadcastd 2060(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm4, %%ymm4\n\t"
"vpaddd %%ymm13, %%ymm5, %%ymm5\n\t"
"vpbroadcastd 3084(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm6, %%ymm6\n\t"
"vpaddd %%ymm13, %%ymm7, %%ymm7\n\t"
"vpbroadcastd 4108(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm8, %%ymm8\n\t"
"vpaddd %%ymm13, %%ymm9, %%ymm9\n\t"
"vpbroadcastd 5132(%[a]), %%ymm13\n\t"
"vpmaddwd %%ymm14, %%ymm13, %%ymm12\n\t"
"vpmaddwd %%ymm15, %%ymm13, %%ymm13\n\t"
"vpaddd %%ymm12, %%ymm10, %%ymm10\n\t"
"vpaddd %%ymm13, %%ymm11, %%ymm11\n\t"
"add $16, %[a]\n\t"
"add $256, %[b]\n\t"
"sub $4, %[k]\n\t"
"jnz 1b\n\t"
"vmovntdq %%ymm0, 0(%[c])\n\t"
"vmovntdq %%ymm1, 32(%[c])\n\t"
"vmovntdq %%ymm2, 2048(%[c])\n\t"
"vmovntdq %%ymm3, 2080(%[c])\n\t"
"vmovntdq %%ymm4, 4096(%[c])\n\t"
"vmovntdq %%ymm5, 4128(%[c])\n\t"
"vmovntdq %%ymm6, 6144(%[c])\n\t"
"vmovntdq %%ymm7, 6176(%[c])\n\t"
"vmovntdq %%ymm8, 8192(%[c])\n\t"
"vmovntdq %%ymm9, 8224(%[c])\n\t"
"vmovntdq %%ymm10, 10240(%[c])\n\t"
"vmovntdq %%ymm11, 10272(%[c])\n\t" : [a] "+&r"(pa), [b] "+&r"(pb2), [k] "+&r"(k)
: [c] "r"(c)
: "memory", "cc", "ymm0","ymm1","ymm2","ymm3","ymm4","ymm5","ymm6","ymm7","ymm8","ymm9","ymm10","ymm11","ymm12","ymm13","ymm14","ymm15");
}
static void product(Mat a, Mat b, int32_t *out) {
pack_b(b);
for (int ic=0; ic<H; ic+=MC) {
int mc = H-ic < MC ? H-ic : MC;
pack_a(a,ic,mc);
for (int jr=0; jr<H; jr+=NR) {
const int16_t *pb = bp + (size_t)(jr/NR)*KC*NR;
int ir=0;
int six_rows = mc;
while (six_rows % 6 || (mc-six_rows) % 4) six_rows -= 2;
for (; ir<six_rows; ir+=6)
mikro6(ap+(size_t)ir*KC, pb, out+(size_t)(ic+ir)*H+jr);
for (; ir+4<=mc; ir+=4)
mikro(ap+(size_t)ir*KC, pb, out+(size_t)(ic+ir)*H+jr);
}
}
}
/* 32 output columns per iteration (was 8) => 28 independent loads in flight instead of 7.
Pure loop restructuring: the arithmetic and every NT store address are unchanged. */
#define CB1(JJ) \
do { \
const size_t t=(size_t)i*H+(JJ); \
__m256i m1=_mm256_load_si256((const __m256i *)(prod[0]+t)); \
__m256i m2=_mm256_load_si256((const __m256i *)((int32_t *)qa+t)); \
__m256i m3=_mm256_load_si256((const __m256i *)(prod[1]+t)); \
__m256i m4=_mm256_load_si256((const __m256i *)((int32_t *)qb+256+t)); \
__m256i m5=_mm256_load_si256((const __m256i *)(prod[2]+t)); \
__m256i m6=_mm256_load_si256((const __m256i *)(prod[3]+t)); \
__m256i m7=_mm256_load_si256((const __m256i *)(prod[4]+t)); \
__m256i c11=_mm256_add_epi32(_mm256_sub_epi32(_mm256_add_epi32(m1,m4),m5),m7); \
__m256i c12=_mm256_add_epi32(m3,m5); \
__m256i c21=_mm256_add_epi32(m2,m4); \
__m256i c22=_mm256_add_epi32(_mm256_sub_epi32(_mm256_add_epi32(m1,m3),m2),m6); \
_mm256_stream_ps(C+(size_t)i*N+(JJ), _mm256_mul_ps(_mm256_cvtepi32_ps(c11),inv)); \
_mm256_stream_ps(C+(size_t)i*N+(JJ)+H, _mm256_mul_ps(_mm256_cvtepi32_ps(c12),inv)); \
_mm256_stream_ps(C+(size_t)(i+H)*N+(JJ), _mm256_mul_ps(_mm256_cvtepi32_ps(c21),inv)); \
_mm256_stream_ps(C+(size_t)(i+H)*N+(JJ)+H, _mm256_mul_ps(_mm256_cvtepi32_ps(c22),inv)); \
} while (0)
static void combine(float *C) {
_mm_sfence(); /* the only fence needed: before reading the NT-written prod[] */
const __m256 inv = _mm256_set1_ps(1.0f/(1024.0f*1024.0f));
for (int i=0; i<H; i++)
for (int j=0; j<H; j+=64) { CB1(j); CB1(j+8); CB1(j+16); CB1(j+24); CB1(j+32); CB1(j+40); CB1(j+48); CB1(j+56); }
_mm_sfence();
}
void matrix_multiply(int n, const float *A, const float *B, float *C) {
(void)n;
quantize(A,qa);quantize(B,qb);
const size_t off=(size_t)H*N;
Mat a11{qa,nullptr,0},a12{qa+H,nullptr,0},
a21{qa+off,nullptr,0},a22{qa+off+H,nullptr,0};
Mat b11{qb,nullptr,0},b12{qb+H,nullptr,0},
b21{qb+off,nullptr,0},b22{qb+off+H,nullptr,0};
product({a11.x,a22.x,+1},{b11.x,b22.x,+1},prod[0]);
product(a11,{b12.x,b22.x,-1},prod[1]);
product({a11.x,a12.x,+1},b22,prod[2]);
product({a21.x,a11.x,-1},{b11.x,b12.x,+1},prod[3]);
product({a12.x,a22.x,-1},{b21.x,b22.x,+1},prod[4]);
product({a21.x,a22.x,+1},b11,(int32_t *)qa);
product(a22,{b21.x,b11.x,-1},(int32_t *)qb+256);
combine(C);
}
| Compilation | N/A | N/A | Compile OK | Score: N/A | 显示更多 |
| Testcase #1 | 14.557 ms | 13 MB + 720 KB | Accepted | Score: 100 | 显示更多 |