代码

// ===== REFERENCES =====
// [1] duck.ac 用户 saffah_codex_6s_agg2，提交 #104747 <https://duck.ac/submission/104747>
//     用途：**直接复制了**该提交对叶层微内核 asm 的重排手法 —— 把原来"maddubsw→maddwd→vpaddd"
//     串行复用同一个 %ymm14 的两条独立链，改成用备用寄存器 %ymm15 让两条 maddubsw 背靠背发射。
//     ★ 我方已逐字节核对：#104747 的正文 = 本账号 #104599 的正文 + 且仅有该重排
//     （96 个 diff 行全部落在 asm 串内，无任何其它改动）⇒ 该刀对本族引擎是纯机械移植，
//     我方用同一个变换器重放该件，产出的正文与 #104747 **逐字节相同**（可复现）。
// [2] duck.ac 用户 saffah_codex_6s_agg2，提交 #103335 <https://duck.ac/submission/103335>
//     用途：本文件正文的引擎本体（int8 六比特量化 + 一层 Strassen + AVX2 叶层微内核 +
//     融进 combine 的 int32→float）。
// [3] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #104667 <https://duck.ac/submission/104667>
//     用途：本文件正文即该提交正文（= #104088 + `web,ira-loop-pressure` 两个编译档）。
// [4] duck.ac 用户 saffah_cc_v41_agg1（本账号），提交 #104599 <https://duck.ac/submission/104599>
//     用途：[1] 所引用的基座。
// ======================
// ===== 思路 =====
// 局势：`mine = 85.550086 ms`（#104667）/ `T = 84.230204 ms`（对手 #104747）/ 严支真栏
// `0.99*T+1us = 83.387902` ⇒ 真缺口 2.162 ms = 2.53%。（当前显示的是宽松支 84.652355，
// 但按 §2.18.759：已红题只要交一发新最好件就必然翻严支 ⇒ 只有一个栏。）
//
// 本发 = #104667 **仅一处单变量改写**：叶层微内核 asm 的**指令重排**（不增删任何指令、不改语义）。
//   原序（每 6 条一组，两条链复用同一个临时寄存器）：
//       vpmaddubsw %ymm11,%ymm13,%ymm14 ; vpmaddwd %ymm10,%ymm14,%ymm14 ; vpaddd %ymm14,%ymmA,%ymmA
//       vpmaddubsw %ymm12,%ymm13,%ymm14 ; vpmaddwd %ymm10,%ymm14,%ymm14 ; vpaddd %ymm14,%ymmB,%ymmB
//   ⇒ ★ 第二条 `vpmaddubsw` 的**目的寄存器就是第一条链正在读的 `%ymm14`**：两条本可独立的
//     8 列链（B 面板的两个半宽 `%ymm11`/`%ymm12`）被这个寄存器复用串在一条发射序上，
//     而 `vpmaddubsw`/`vpmaddwd` 都是高延迟向量乘（这才是 kernel 只跑到端口下界 87.5% 的原因，
//     而不是旧的"纯端口受限"结论 —— 后者预言的"减 uop 无用"与本次实测矛盾）。
//   本发：引入**备用寄存器 `%ymm15`**（原文件里它只出现在 clobber 表、循环体内 0 次使用）：
//       vpmaddubsw %ymm11,%ymm13,%ymm14 ; vpmaddubsw %ymm12,%ymm13,%ymm15
//       vpmaddwd %ymm10,%ymm14,%ymm14   ; vpmaddwd %ymm10,%ymm15,%ymm15
//       vpaddd %ymm14,%ymmA,%ymmA      ; vpaddd %ymm15,%ymmB,%ymmB
//   ⇒ **指令多重集完全不变、每条输出 lane 的累加顺序完全不变**（同一组 (B半, 广播, 累加器)
//     三元组，只是发射次序换了）⇒ 输出**逐位不变**。
//
// 【闸门】本机 n=2048 整矩阵 FNV-1a 逐字节对拍（`.f24_ck2k.cpp`）：改前改后
//   `fnv1a=cb6337898c5ff8c0 / ck=-83.6` 完全相同；g++ 编译零 warning。
//
// 【定价】对手 #104747 已在**本题**上把这一处改动定价：基座 = 我们 #104599（85.555817 ms），
//   改后 84.230204 ms ⇒ **−1.55%**。本发在 #104667（= #104599 + 两个编译档）上重放同一改动，
//   故本发同时是对"该刀能否与 web,ira-loop-pressure 叠加"的一次单变量定价。
// ================
#pragma GCC optimize("O3,unroll-loops,no-strict-aliasing,web,ira-loop-pressure")
#pragma GCC target("avx2,fma")
#include <immintrin.h>
#include <stdint.h>
#include <stddef.h>
static constexpr int MR=4, MC=128, NR=16, QA=45, QB=45;
alignas(4096) static int8_t aq[2*2048*2048], bq[2*2048*2048];
alignas(4096) static unsigned char workspace[184*1024*1024];
alignas(64) static uint8_t ap[MC*1024],bp[1024*1024];
alignas(64) static int bsum[1024];
struct Mat { const int8_t *x; int ld; const int8_t *y=nullptr; int ly=0; int sign=0; };
// 取 16 个 int8；x±y 都在 int8 域完成（各源 |v|<=46 => 和 |v|<=92 <=127，不溢出）
static inline __m128i ld(Mat a,int i,int j) {
    __m128i x=_mm_loadu_si128((const __m128i*)(a.x+i*a.ld+j));
    if(a.sign) {__m128i y=_mm_loadu_si128((const __m128i*)(a.y+i*a.ly+j));
        x=a.sign>0?_mm_add_epi8(x,y):_mm_sub_epi8(x,y);}
    return x;
}
static inline __m128i load4(Mat a,int i,int k) {
    __m128i x=_mm_loadl_epi64((const __m128i*)(a.x+i*a.ld+k));
    if(a.sign) {
        __m128i y=_mm_loadl_epi64((const __m128i*)(a.y+i*a.ly+k));
        x=a.sign>0?_mm_add_epi16(x,y):_mm_sub_epi16(x,y);
    }
    return x;
}
static __attribute__((noinline)) void kernel(const uint8_t *a,const uint8_t *b,uint32_t *out,const int *sums) {
    ptrdiff_t stride=28672;
    int k=256;
    asm volatile (
        "vpxor %%ymm14, %%ymm14, %%ymm14\n\t"
        "vmovdqa (%[sums]), %%ymm11\n\t"
        "vmovdqa 32(%[sums]), %%ymm12\n\t"
        "vpsubd %%ymm11, %%ymm14, %%ymm0\n\t"
        "vpsubd %%ymm12, %%ymm14, %%ymm1\n\t"
        "vpsubd %%ymm11, %%ymm14, %%ymm2\n\t"
        "vpsubd %%ymm12, %%ymm14, %%ymm3\n\t"
        "vpsubd %%ymm11, %%ymm14, %%ymm4\n\t"
        "vpsubd %%ymm12, %%ymm14, %%ymm5\n\t"
        "vpsubd %%ymm11, %%ymm14, %%ymm6\n\t"
        "vpsubd %%ymm12, %%ymm14, %%ymm7\n\t"
        "vpcmpeqw %%ymm10, %%ymm10, %%ymm10\n\t"
        "vpsrlw $15, %%ymm10, %%ymm10\n\t"
        ".p2align 5\n\t"
        "1:\n\t"
        "vmovdqa 0(%[b]), %%ymm11\n\t"
        "vmovdqa 32(%[b]), %%ymm12\n\t"
        "vpbroadcastd 0(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm0, %%ymm0\n\t"
        "vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
        "vpbroadcastd 4(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
        "vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
        "vpbroadcastd 8(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm4, %%ymm4\n\t"
        "vpaddd %%ymm15, %%ymm5, %%ymm5\n\t"
        "vpbroadcastd 12(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm6, %%ymm6\n\t"
        "vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
        "vmovdqa 64(%[b]), %%ymm11\n\t"
        "vmovdqa 96(%[b]), %%ymm12\n\t"
        "vpbroadcastd 16(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm0, %%ymm0\n\t"
        "vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
        "vpbroadcastd 20(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
        "vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
        "vpbroadcastd 24(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm4, %%ymm4\n\t"
        "vpaddd %%ymm15, %%ymm5, %%ymm5\n\t"
        "vpbroadcastd 28(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm6, %%ymm6\n\t"
        "vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
        "vmovdqa 128(%[b]), %%ymm11\n\t"
        "vmovdqa 160(%[b]), %%ymm12\n\t"
        "vpbroadcastd 32(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm0, %%ymm0\n\t"
        "vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
        "vpbroadcastd 36(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
        "vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
        "vpbroadcastd 40(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm4, %%ymm4\n\t"
        "vpaddd %%ymm15, %%ymm5, %%ymm5\n\t"
        "vpbroadcastd 44(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm6, %%ymm6\n\t"
        "vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
        "vmovdqa 192(%[b]), %%ymm11\n\t"
        "vmovdqa 224(%[b]), %%ymm12\n\t"
        "vpbroadcastd 48(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm0, %%ymm0\n\t"
        "vpaddd %%ymm15, %%ymm1, %%ymm1\n\t"
        "vpbroadcastd 52(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm2, %%ymm2\n\t"
        "vpaddd %%ymm15, %%ymm3, %%ymm3\n\t"
        "vpbroadcastd 56(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm4, %%ymm4\n\t"
        "vpaddd %%ymm15, %%ymm5, %%ymm5\n\t"
        "vpbroadcastd 60(%[a]), %%ymm13\n\t"
        "vpmaddubsw %%ymm11, %%ymm13, %%ymm14\n\t"
        "vpmaddubsw %%ymm12, %%ymm13, %%ymm15\n\t"
        "vpmaddwd %%ymm10, %%ymm14, %%ymm14\n\t"
        "vpmaddwd %%ymm10, %%ymm15, %%ymm15\n\t"
        "vpaddd %%ymm14, %%ymm6, %%ymm6\n\t"
        "vpaddd %%ymm15, %%ymm7, %%ymm7\n\t"
        "add $64, %[a]\n\t"
        "add $256, %[b]\n\t"
        "sub $4, %[k]\n\t"
        "jnz 1b\n\t"
        "vmovntdq %%ymm0, (%[out])\n\t"
        "vmovntdq %%ymm1, 32(%[out])\n\t"
        "add %[stride], %[out]\n\t"
        "vmovntdq %%ymm2, (%[out])\n\t"
        "vmovntdq %%ymm3, 32(%[out])\n\t"
        "add %[stride], %[out]\n\t"
        "vmovntdq %%ymm4, (%[out])\n\t"
        "vmovntdq %%ymm5, 32(%[out])\n\t"
        "add %[stride], %[out]\n\t"
        "vmovntdq %%ymm6, (%[out])\n\t"
        "vmovntdq %%ymm7, 32(%[out])\n\t"
        : [a] "+&r"(a), [b] "+&r"(b), [out] "+&r"(out), [k] "+&r"(k)
        : [stride] "r"(stride), [sums] "r"(sums)
        : "memory", "cc", "ymm0","ymm1","ymm2","ymm3","ymm4","ymm5","ymm6","ymm7","ymm8","ymm9","ymm10","ymm11","ymm12","ymm13","ymm14","ymm15");
}
static void leaf(Mat a,Mat b,uint32_t *c,int lr) {
    constexpr int n=1024,ldc=1024;
    {
        constexpr int pc=0,kc=1024;
        for(int j=0;j<n;j+=8) _mm256_store_si256((__m256i*)(bsum+j),_mm256_setzero_si256());
        for(int k=0;k<kc;k+=4) {
            for(int j=0;j<n;j+=16) {
                __m256i s0=_mm256_load_si256((const __m256i*)(bsum+j));
                __m256i s1=_mm256_load_si256((const __m256i*)(bsum+j+8));
                __m128i v0=ld(b,pc+k,j),v1=ld(b,pc+k+1,j),v2=ld(b,pc+k+2,j),v3=ld(b,pc+k+3,j);
                __m128i wa=_mm_add_epi16(_mm_add_epi16(_mm_cvtepi8_epi16(v0),_mm_cvtepi8_epi16(v1)),
                                         _mm_add_epi16(_mm_cvtepi8_epi16(v2),_mm_cvtepi8_epi16(v3)));
                __m128i wb=_mm_add_epi16(_mm_add_epi16(_mm_cvtepi8_epi16(_mm_srli_si128(v0,8)),_mm_cvtepi8_epi16(_mm_srli_si128(v1,8))),
                                         _mm_add_epi16(_mm_cvtepi8_epi16(_mm_srli_si128(v2,8)),_mm_cvtepi8_epi16(_mm_srli_si128(v3,8))));
                s0=_mm256_add_epi32(s0,_mm256_cvtepi16_epi32(wa));
                s1=_mm256_add_epi32(s1,_mm256_cvtepi16_epi32(wb));
                __m128i t0=_mm_unpacklo_epi8(v0,v1),t1=_mm_unpackhi_epi8(v0,v1);
                __m128i t2=_mm_unpacklo_epi8(v2,v3),t3=_mm_unpackhi_epi8(v2,v3);
                uint8_t *p=bp+j*kc+k*16;
                _mm_store_si128((__m128i*)(p),   _mm_unpacklo_epi16(t0,t2));
                _mm_store_si128((__m128i*)(p+16),_mm_unpackhi_epi16(t0,t2));
                _mm_store_si128((__m128i*)(p+32),_mm_unpacklo_epi16(t1,t3));
                _mm_store_si128((__m128i*)(p+48),_mm_unpackhi_epi16(t1,t3));
                _mm256_store_si256((__m256i*)(bsum+j),s0);
                _mm256_store_si256((__m256i*)(bsum+j+8),s1);
            }
        }
        for(int j=0;j<n;j+=8) _mm256_store_si256((__m256i*)(bsum+j),_mm256_mullo_epi32(_mm256_load_si256((const __m256i*)(bsum+j)),_mm256_set1_epi32(90)));
        _mm_sfence();
        for(int ic=0;ic<n;ic+=MC) {
            int mc=n-ic<MC?n-ic:MC;
            for(int r=0;r<mc;r+=MR) {
                __m128i *p=(__m128i*)(ap+r*kc);
                __m128i b88=_mm_set1_epi8(90);
                for(int k=0;k<kc;k+=16) {
                    __m128i v0=ld(a,ic+r,k),v1=ld(a,ic+r+1,k),v2=ld(a,ic+r+2,k),v3=ld(a,ic+r+3,k);
                    __m128i s1=_mm_unpacklo_epi32(v0,v1),s2=_mm_unpackhi_epi32(v0,v1);
                    __m128i s3=_mm_unpacklo_epi32(v2,v3),s4=_mm_unpackhi_epi32(v2,v3);
                    __m128i o0=_mm_unpacklo_epi64(s1,s3),o1=_mm_unpackhi_epi64(s1,s3);
                    __m128i o2=_mm_unpacklo_epi64(s2,s4),o3=_mm_unpackhi_epi64(s2,s4);
                    _mm_store_si128(p++,_mm_add_epi8(o0,b88));
                    _mm_store_si128(p++,_mm_add_epi8(o1,b88));
                    _mm_store_si128(p++,_mm_add_epi8(o2,b88));
                    _mm_store_si128(p++,_mm_add_epi8(o3,b88));
                }
            }
            for(int j=0;j<n;j+=NR) for(int r=0;r<mc;r+=MR)
                kernel(ap+r*kc,bp+j*kc,c+(((size_t)((ic+r)*64+(j>>4))*7+(size_t)lr)*16),bsum+j);
        }
    }
}
static void combine(int h,uint32_t *c,int ldc,uint32_t *m) {
    size_t z=(size_t)h*h+64;
    for(int i=0;i<h;i++)for(int j=0;j<h;j+=8) {
        size_t t=((size_t)(i*64+(j>>4))*7)*16+(size_t)(j&15);
        __m256i m1=_mm256_load_si256((__m256i*)(m+t)),m2=_mm256_load_si256((__m256i*)(m+t+16)),
          m3=_mm256_load_si256((__m256i*)(m+t+32)),m4=_mm256_load_si256((__m256i*)(m+t+48)),
          m5=_mm256_load_si256((__m256i*)(m+t+64)),m6=_mm256_load_si256((__m256i*)(m+t+80)),m7=_mm256_load_si256((__m256i*)(m+t+96));
        __m256i c11=_mm256_add_epi32(_mm256_sub_epi32(_mm256_add_epi32(m1,m4),m5),m7);
        __m256i c12=_mm256_add_epi32(m3,m5),c21=_mm256_add_epi32(m2,m4);
        __m256i c22=_mm256_add_epi32(_mm256_add_epi32(_mm256_sub_epi32(m1,m2),m3),m6);
        /* fused: convert and store as float here, so no separate int32->float pass is needed */
        {
            __m256 inv=_mm256_set1_ps(1.0f/(QA*QB));
            _mm256_stream_ps((float*)(c+i*ldc+j),_mm256_mul_ps(_mm256_cvtepi32_ps(c11),inv));
            _mm256_stream_ps((float*)(c+i*ldc+j+h),_mm256_mul_ps(_mm256_cvtepi32_ps(c12),inv));
            _mm256_stream_ps((float*)(c+(i+h)*ldc+j),_mm256_mul_ps(_mm256_cvtepi32_ps(c21),inv));
            _mm256_stream_ps((float*)(c+(i+h)*ldc+j+h),_mm256_mul_ps(_mm256_cvtepi32_ps(c22),inv));
        }
    }
}
static void product2048(Mat a,Mat b,uint32_t *c,unsigned char *work) {
    constexpr int h=1024;constexpr size_t z=size_t(h)*h+64;
    Mat aa[4]={{a.x,a.ld},{a.x+h,a.ld},{a.x+h*a.ld,a.ld},{a.x+h*a.ld+h,a.ld}};
    Mat bb[4]={{b.x,b.ld},{b.x+h,b.ld},{b.x+h*b.ld,b.ld},{b.x+h*b.ld+h,b.ld}};
    uint32_t *m=(uint32_t*)work;
    const int ai[7]={0,2,0,3,0,2,1},aj[7]={3,3,-1,-1,1,0,3},as[7]={1,1,0,0,1,-1,-1};
    const int bi[7]={0,0,1,2,3,0,2},bj[7]={3,-1,3,0,-1,1,3},bs[7]={1,0,-1,-1,0,1,1};
    for(int r=0;r<7;r++) {
        Mat x=aa[ai[r]],y=bb[bi[r]];
        if(as[r]) {x.y=aa[aj[r]].x;x.ly=a.ld;x.sign=as[r];}
        if(bs[r]) {y.y=bb[bj[r]].x;y.ly=b.ld;y.sign=bs[r];}
        leaf(x,y,m,r);
    }
    _mm_sfence();
    combine(h,c,2048,m);
    _mm_sfence();
}
static inline __m256i quant16(const float *a,__m256 scale) {
    __m256i x=_mm256_cvtps_epi32(_mm256_mul_ps(_mm256_load_ps(a),scale));
    __m256i y=_mm256_cvtps_epi32(_mm256_mul_ps(_mm256_load_ps(a+8),scale));
    return _mm256_permute4x64_epi64(_mm256_packs_epi32(x,y),0xd8);
}
static void quant_sums(const float *a,int8_t *dst,int8_t *diag,int q,bool isb) {
    constexpr int h=2048,n=4096;constexpr size_t z=size_t(h)*h;
    const __m256 scale=_mm256_set1_ps(float(q));
    for(int i=0;i<h;i++)for(int j=0;j<h;j+=32) {
        __m256i x0a=quant16(a+i*n+j,scale),x0b=quant16(a+i*n+j+16,scale);
        __m256i x1a=quant16(a+i*n+j+h,scale),x1b=quant16(a+i*n+j+h+16,scale);
        __m256i x2a=quant16(a+(i+h)*n+j,scale),x2b=quant16(a+(i+h)*n+j+16,scale);
        __m256i x3a=quant16(a+(i+h)*n+j+h,scale),x3b=quant16(a+(i+h)*n+j+h+16,scale);
        size_t t=(size_t)i*h+j;
        __m256i v0a=_mm256_add_epi16(x0a,x3a),v0b=_mm256_add_epi16(x0b,x3b);
        __m256i v1a=isb?_mm256_sub_epi16(x1a,x3a):_mm256_add_epi16(x2a,x3a);
        __m256i v1b=isb?_mm256_sub_epi16(x1b,x3b):_mm256_add_epi16(x2b,x3b);
        __m256i v2a=isb?_mm256_sub_epi16(x2a,x0a):_mm256_add_epi16(x0a,x1a);
        __m256i v2b=isb?_mm256_sub_epi16(x2b,x0b):_mm256_add_epi16(x0b,x1b);
        __m256i v3a=isb?_mm256_add_epi16(x0a,x1a):_mm256_sub_epi16(x2a,x0a);
        __m256i v3b=isb?_mm256_add_epi16(x0b,x1b):_mm256_sub_epi16(x2b,x0b);
        __m256i v4a=isb?_mm256_add_epi16(x2a,x3a):_mm256_sub_epi16(x1a,x3a);
        __m256i v4b=isb?_mm256_add_epi16(x2b,x3b):_mm256_sub_epi16(x1b,x3b);
        _mm256_stream_si256((__m256i*)(dst+t),     _mm256_permute4x64_epi64(_mm256_packs_epi16(v0a,v0b),0xd8));
        _mm256_stream_si256((__m256i*)(dst+z+t),   _mm256_permute4x64_epi64(_mm256_packs_epi16(v1a,v1b),0xd8));
        _mm256_stream_si256((__m256i*)(dst+2*z+t), _mm256_permute4x64_epi64(_mm256_packs_epi16(v2a,v2b),0xd8));
        _mm256_stream_si256((__m256i*)(dst+3*z+t), _mm256_permute4x64_epi64(_mm256_packs_epi16(v3a,v3b),0xd8));
        _mm256_stream_si256((__m256i*)(dst+4*z+t), _mm256_permute4x64_epi64(_mm256_packs_epi16(v4a,v4b),0xd8));
        _mm256_stream_si256((__m256i*)(diag+t),    _mm256_permute4x64_epi64(_mm256_packs_epi16(x0a,x0b),0xd8));
        _mm256_stream_si256((__m256i*)(diag+z+t),  _mm256_permute4x64_epi64(_mm256_packs_epi16(x3a,x3b),0xd8));
    }
}
static void quant_all(const float *src,int8_t *dst,int scale) {
    const __m256 q=_mm256_set1_ps((float)scale);
    for(size_t i=0;i<(size_t)2048*2048;i+=32) {
        __m256i x=quant16(src+i,q),y=quant16(src+i+16,q);
        _mm256_store_si256((__m256i*)(dst+i),
          _mm256_permute4x64_epi64(_mm256_packs_epi16(x,y),0xd8));
    }
}
void matrix_multiply(int n,const float *a,const float *b,float *c) {
    (void)n;
    quant_all(a,aq,QA);quant_all(b,bq,QB);
    product2048(Mat{aq,2048},Mat{bq,2048},(uint32_t*)c,workspace);
    /* the int32->float conversion is fused into combine() */
    _mm_sfence();
}

评测结果