mlkem/native/aarch64/src/ntt_opt.S

///
/// Copyright (c) 2022 Arm Limited
/// Copyright (c) 2022 Hanno Becker
/// Copyright (c) 2023 Amin Abdulrahman, Matthias Kannwischer
/// Copyright (c) 2024 The mlkem-native project authors
// SPDX-License-Identifier: MIT
///
/// Permission is hereby granted, free of charge, to any person obtaining a copy
/// of this software and associated documentation files (the "Software"), to deal
/// in the Software without restriction, including without limitation the rights
/// to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
/// copies of the Software, and to permit persons to whom the Software is
/// furnished to do so, subject to the following conditions:
///
/// The above copyright notice and this permission notice shall be included in all
/// copies or substantial portions of the Software.
///
/// THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
/// IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
/// FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
/// AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
/// LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
/// OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
/// SOFTWARE.
///

#include "../../../common.h"
#if defined(MLKEM_NATIVE_ARITH_BACKEND_AARCH64_OPT)

// Bounds:
// If C is chosen so that |src| < q * C, then |dst| < q * (0.0508 * C + 1/2)

// See mlken/reduce.c and test/test_bounds.py for more details.
.macro mulmodq dst, src, const, idx0, idx1
        // Signed barrett multiplication using
        // round-to-nearest-even-integer approximation.
        // Following https: // eprint.iacr.org/2021/986.pdf, this
        // is functionally the same as a signed Montgomery multiplication
        // with a suitable constant of absolute value < q.
        sqrdmulh t2.8h,      \src\().8h, \const\().h[\idx1\()]
        mul      \dst\().8h, \src\().8h, \const\().h[\idx0\()]
        mls      \dst\().8h, t2.8h,      consts.h[0]
.endm

.macro mulmod dst, src, const, const_twisted
        sqrdmulh t2.8h,   \src\().8h, \const_twisted\().8h
        mul      \dst\().8h, \src\().8h, \const\().8h
        mls      \dst\().8h, t2.8h,   consts.h[0]
.endm

.macro ct_butterfly a, b, root, idx0, idx1
        mulmodq tmp, \b, \root, \idx0, \idx1
        sub \b\().8h, \a\().8h, tmp.8h
        add \a\().8h, \a\().8h, tmp.8h
.endm

.macro ct_butterfly_v a, b, root, root_twisted
        mulmod tmp, \b, \root, \root_twisted
        sub \b\().8h, \a\().8h, tmp.8h
        add \a\().8h, \a\().8h, tmp.8h
.endm

.macro load_roots_012
        ldr q_root0, [r01234_ptr], #32
        ldr q_root1, [r01234_ptr, #-16]
.endm

.macro load_next_roots_34
        ldr q_root0, [r01234_ptr], #16
.endm

.macro load_next_roots_56
        ldr q_root0,    [r56_ptr], #(6*16)
        ldr q_root0_tw, [r56_ptr, #(-6*16 + 1*16)]
        ldr q_root1,    [r56_ptr, #(-6*16 + 2*16)]
        ldr q_root1_tw, [r56_ptr, #(-6*16 + 3*16)]
        ldr q_root2,    [r56_ptr, #(-6*16 + 4*16)]
        ldr q_root2_tw, [r56_ptr, #(-6*16 + 5*16)]
.endm

.macro transpose4 data
        trn1 t0.4s, \data\()0.4s, \data\()1.4s
        trn2 t1.4s, \data\()0.4s, \data\()1.4s
        trn1 t2.4s, \data\()2.4s, \data\()3.4s
        trn2 t3.4s, \data\()2.4s, \data\()3.4s

        trn2 \data\()2.2d, t0.2d, t2.2d
        trn2 \data\()3.2d, t1.2d, t3.2d
        trn1 \data\()0.2d, t0.2d, t2.2d
        trn1 \data\()1.2d, t1.2d, t3.2d
.endm

.macro save_vregs
        sub sp, sp, #(16*4)
        stp  d8,  d9, [sp, #16*0]
        stp d10, d11, [sp, #16*1]
        stp d12, d13, [sp, #16*2]
        stp d14, d15, [sp, #16*3]
.endm

.macro restore_vregs
        ldp  d8,  d9, [sp, #16*0]
        ldp d10, d11, [sp, #16*1]
        ldp d12, d13, [sp, #16*2]
        ldp d14, d15, [sp, #16*3]
        add sp, sp, #(16*4)
.endm

.macro push_stack
        save_vregs
.endm

.macro pop_stack
        restore_vregs
.endm

        // Arguments
        in         .req x0 // Input/output buffer
        r01234_ptr .req x1 // twiddles for layer 0,1,2,3,4
        r56_ptr    .req x2 // twiddles for layer 5,6

        inp     .req x3
        count   .req x4
        xtmp    .req x5

        data0  .req v8
        data1  .req v9
        data2  .req v10
        data3  .req v11
        data4  .req v12
        data5  .req v13
        data6  .req v14
        data7  .req v15

        q_data0  .req q8
        q_data1  .req q9
        q_data2  .req q10
        q_data3  .req q11
        q_data4  .req q12
        q_data5  .req q13
        q_data6  .req q14
        q_data7  .req q15

        root0    .req v0
        root1    .req v1
        root2    .req v2
        root0_tw .req v4
        root1_tw .req v5
        root2_tw .req v6

        q_root0    .req q0
        q_root1    .req q1
        q_root2    .req q2
        q_root0_tw .req q4
        q_root1_tw .req q5
        q_root2_tw .req q6

        consts    .req v7
        q_consts  .req q7

        tmp .req v24
        t0  .req v25
        t1  .req v26
        t2  .req v27
        t3  .req v28

        .text
        .global MLKEM_ASM_NAMESPACE(ntt_asm_opt)

/* Literal pool */
.p2align 4
c_consts:
        .short 3329
        .short 20159
        .short 0
        .short 0
        .short 0
        .short 0
        .short 0
        .short 0

MLKEM_ASM_NAMESPACE(ntt_asm_opt):
        push_stack
        ldr q_consts, c_consts

        mov inp, in
        mov count, #4

        load_roots_012

        .p2align 2

        // Bounds reasoning:
        // - There are 7 layers
        // - When passing from layer N to layer N+1, each layer-N value
        // is modified through the addition/subtraction of a Montgomery
        // product of a twiddle of absolute value < q/2 and a layer-N value.
        // - Recalling that for C such that |a| < C * q and |t|<q/2, we have
        // |fqmul(a,t)| < q * (0.0254*C + 1/2), we see that the coefficients
        // of layer N (starting with layer 0 = input data) are bound by q * f^N(1),
        // where f(C) = 1/2 + 1.0508*C.
        // For N=7, we get the bound of f^7(1) * q < 18295.

        // See test/test_bounds.py for more details.

                                           // Instructions:    10
                                           // Expected cycles: 17
                                           // Expected IPC:    0.59
                                           //
                                           // Cycle bound:     17.0
                                           // IPC bound:       0.59
                                           //
                                           // Wall time:     0.01s
                                           // User time:     0.01s
                                           //
                                           // ----- cycle (expected) ------>
                                           // 0                        25
                                           // |------------------------|----
        ldr q21, [x0, #0]                  // *.............................
        ldr q26, [x0, #64]                 // ..*...........................
        ldr q29, [x0, #128]                // ....*.........................
        ldr q20, [x0, #192]                // ......*.......................
        ldr q23, [x0, #256]                // ........*.....................
        ldr q11, [x0, #448]                // ..........*...................
        mul v2.8H, v23.8H, v0.H[0]         // ............*.................
        ldr q17, [x0, #320]                // .............*................
        mul v15.8H, v11.8H, v0.H[0]        // ...............*..............
        ldr q13, [x0, #384]                // ................*.............

                                            // ------ cycle (expected) ------>
                                            // 0                        25
                                            // |------------------------|-----
        // ldr q21, [x0, #0]                // *..............................
        // ldr q26, [x0, #64]               // ..*............................
        // ldr q29, [x0, #128]              // ....*..........................
        // ldr q20, [x0, #192]              // ......*........................
        // ldr q23, [x0, #256]              // ........*......................
        // ldr q17, [x0, #320]              // .............*.................
        // mul v2.8H, v23.8H, v0.H[0]       // ............*..................
        // ldr q11, [x0, #448]              // ..........*....................
        // ldr q13, [x0, #384]              // ................*..............
        // mul v15.8H, v11.8H, v0.H[0]      // ...............*...............

        sub count, count, #1
1:
                                                // Instructions:    76
                                                // Expected cycles: 84
                                                // Expected IPC:    0.90
                                                //
                                                // Cycle bound:     84.0
                                                // IPC bound:       0.90
                                                //
                                                // Wall time:     2.36s
                                                // User time:     2.36s
                                                //
                                                // -------------------------------- cycle (expected) --------------------------------->
                                                // 0                        25                       50                       75
                                                // |------------------------|------------------------|------------------------|--------
        sqrdmulh v14.8H, v23.8H, v0.H[1]        // *...................................................................................
        sqrdmulh v23.8H, v17.8H, v0.H[1]        // .*..................................................................................
        mul v17.8H, v17.8H, v0.H[0]             // ..*.................................................................................
        sqrdmulh v28.8H, v13.8H, v0.H[1]        // ...*................................................................................
        mls v2.8H, v14.8H, v7.H[0]              // ....*...............................................................................
        mul v14.8H, v13.8H, v0.H[0]             // .....*..............................................................................
        mls v17.8H, v23.8H, v7.H[0]             // ......*.............................................................................
        sqrdmulh v23.8H, v11.8H, v0.H[1]        // .......*............................................................................
        sub v11.8H, v21.8H, v2.8H               // ........*...........................................................................
        mls v14.8H, v28.8H, v7.H[0]             // .........*..........................................................................
        sub v28.8H, v26.8H, v17.8H              // ..........*.........................................................................
        add v17.8H, v26.8H, v17.8H              // ...........*........................................................................
        add v2.8H, v21.8H, v2.8H                // ............*.......................................................................
        sub v13.8H, v29.8H, v14.8H              // .............*......................................................................
        add v14.8H, v29.8H, v14.8H              // ..............*.....................................................................
        mls v15.8H, v23.8H, v7.H[0]             // ...............*....................................................................
        sqrdmulh v23.8H, v13.8H, v0.H[5]        // ................*...................................................................
        mul v13.8H, v13.8H, v0.H[4]             // .................*..................................................................
        sqrdmulh v21.8H, v14.8H, v0.H[3]        // ..................*.................................................................
        sub v26.8H, v20.8H, v15.8H              // ...................*................................................................
        add v15.8H, v20.8H, v15.8H              // ....................*...............................................................
        mls v13.8H, v23.8H, v7.H[0]             // .....................*..............................................................
        sqrdmulh v23.8H, v26.8H, v0.H[5]        // ......................*.............................................................
        mul v26.8H, v26.8H, v0.H[4]             // .......................*............................................................
        mul v14.8H, v14.8H, v0.H[2]             // ........................*...........................................................
        sub v29.8H, v11.8H, v13.8H              // .........................*..........................................................
        add v11.8H, v11.8H, v13.8H              // ..........................*.........................................................
        mls v26.8H, v23.8H, v7.H[0]             // ...........................*........................................................
        sqrdmulh v23.8H, v15.8H, v0.H[3]        // ............................*.......................................................
        mul v13.8H, v15.8H, v0.H[2]             // .............................*......................................................
        mls v14.8H, v21.8H, v7.H[0]             // ..............................*.....................................................
        sub v15.8H, v28.8H, v26.8H              // ...............................*....................................................
        add v28.8H, v28.8H, v26.8H              // ................................*...................................................
        mls v13.8H, v23.8H, v7.H[0]             // .................................*..................................................
        sub v23.8H, v2.8H, v14.8H               // ..................................*.................................................
        add v14.8H, v2.8H, v14.8H               // ...................................*................................................
        sqrdmulh v2.8H, v28.8H, v1.H[3]         // ....................................*...............................................
        sub v21.8H, v17.8H, v13.8H              // .....................................*..............................................
        add v17.8H, v17.8H, v13.8H              // ......................................*.............................................
        mul v28.8H, v28.8H, v1.H[2]             // .......................................*............................................
        sqrdmulh v13.8H, v21.8H, v1.H[1]        // ........................................*...........................................
        sqrdmulh v26.8H, v17.8H, v0.H[7]        // .........................................*..........................................
        mul v17.8H, v17.8H, v0.H[6]             // ..........................................*.........................................
        mul v21.8H, v21.8H, v1.H[0]             // ...........................................*........................................
        mls v28.8H, v2.8H, v7.H[0]              // ............................................*.......................................
        sqrdmulh v2.8H, v15.8H, v1.H[5]         // .............................................*......................................
        mls v17.8H, v26.8H, v7.H[0]             // ..............................................*.....................................
        mls v21.8H, v13.8H, v7.H[0]             // ...............................................*....................................
        sub v13.8H, v11.8H, v28.8H              // ................................................*...................................
        add v28.8H, v11.8H, v28.8H              // .................................................*..................................
        sub v11.8H, v14.8H, v17.8H              // ..................................................*.................................
        mul v15.8H, v15.8H, v1.H[4]             // ...................................................*................................
        add v14.8H, v14.8H, v17.8H              // ....................................................*...............................
        sub v17.8H, v23.8H, v21.8H              // .....................................................*..............................
        add v23.8H, v23.8H, v21.8H              // ......................................................*.............................
        mls v15.8H, v2.8H, v7.H[0]              // .......................................................*............................
        str q14, [x0], #(16)                    // ........................................................*...........................
        ldr q21, [x0, #0]                       // .........................................................e..........................
        sub v14.8H, v29.8H, v15.8H              // ...........................................................*........................
        add v2.8H, v29.8H, v15.8H               // ............................................................*.......................
        str q11, [x0, #48]                      // .............................................................*......................
        ldr q26, [x0, #64]                      // ..............................................................e.....................
        str q23, [x0, #112]                     // ................................................................*...................
        ldr q29, [x0, #128]                     // .................................................................e..................
        str q17, [x0, #176]                     // ...................................................................*................
        ldr q20, [x0, #192]                     // ....................................................................e...............
        str q28, [x0, #240]                     // ......................................................................*.............
        ldr q23, [x0, #256]                     // .......................................................................e............
        str q13, [x0, #304]                     // .........................................................................*..........
        ldr q17, [x0, #320]                     // ..........................................................................e.........
        str q2, [x0, #368]                      // ............................................................................*.......
        mul v2.8H, v23.8H, v0.H[0]              // .............................................................................e......
        str q14, [x0, #432]                     // ..............................................................................*.....
        ldr q11, [x0, #448]                     // ...............................................................................e....
        ldr q13, [x0, #384]                     // .................................................................................e..
        mul v15.8H, v11.8H, v0.H[0]             // ...................................................................................e

                                                      // ------------------------------------------- cycle (expected) -------------------------------------------->
                                                      // 0                        25                       50                       75                       100
                                                      // |------------------------|------------------------|------------------------|------------------------|-----
        // ldr q8, [x0, #0]                           // e..........................'........................................................~.....................
        // ldr q9, [x0, #(1*(512/8))]                 // .....e.....................'.............................................................~................
        // ldr q10, [x0, #(2*(512/8))]                // ........e..................'................................................................~.............
        // ldr q11, [x0, #(3*(512/8))]                // ...........e...............'...................................................................~..........
        // ldr q12, [x0, #(4*(512/8))]                // ..............e............'......................................................................~.......
        // ldr q13, [x0, #(5*(512/8))]                // .................e.........'.........................................................................~....
        // ldr q14, [x0, #(6*(512/8))]                // ........................e..'..............................................................................
        // ldr q15, [x0, #(7*(512/8))]                // ......................e....'..............................................................................
        // sqrdmulh v27.8h,      v12.8h, v0.h[1]      // ...........................*..............................................................................
        // mul      v24.8h, v12.8h, v0.h[0]           // ....................e......'............................................................................~.
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'...*..........................................................................
        // sub v12.8h, v8.8h, v24.8h                  // ...........................'.......*......................................................................
        // add v8.8h, v8.8h, v24.8h                   // ...........................'...........*..................................................................
        // sqrdmulh v27.8h,      v13.8h, v0.h[1]      // ...........................'*.............................................................................
        // mul      v24.8h, v13.8h, v0.h[0]           // ...........................'.*............................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'.....*........................................................................
        // sub v13.8h, v9.8h, v24.8h                  // ...........................'.........*....................................................................
        // add v9.8h, v9.8h, v24.8h                   // ...........................'..........*...................................................................
        // sqrdmulh v27.8h,      v14.8h, v0.h[1]      // ...........................'..*...........................................................................
        // mul      v24.8h, v14.8h, v0.h[0]           // ...........................'....*.........................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'........*.....................................................................
        // sub v14.8h, v10.8h, v24.8h                 // ...........................'............*.................................................................
        // add v10.8h, v10.8h, v24.8h                 // ...........................'.............*................................................................
        // sqrdmulh v27.8h,      v15.8h, v0.h[1]      // ...........................'......*.......................................................................
        // mul      v24.8h, v15.8h, v0.h[0]           // ..........................e'..............................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'..............*...............................................................
        // sub v15.8h, v11.8h, v24.8h                 // ...........................'..................*...........................................................
        // add v11.8h, v11.8h, v24.8h                 // ...........................'...................*..........................................................
        // sqrdmulh v27.8h,      v10.8h, v0.h[3]      // ...........................'.................*............................................................
        // mul      v24.8h, v10.8h, v0.h[2]           // ...........................'.......................*......................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'.............................*................................................
        // sub v10.8h, v8.8h, v24.8h                  // ...........................'.................................*............................................
        // add v8.8h, v8.8h, v24.8h                   // ...........................'..................................*...........................................
        // sqrdmulh v27.8h,      v11.8h, v0.h[3]      // ...........................'...........................*..................................................
        // mul      v24.8h, v11.8h, v0.h[2]           // ...........................'............................*.................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'................................*.............................................
        // sub v11.8h, v9.8h, v24.8h                  // ...........................'....................................*.........................................
        // add v9.8h, v9.8h, v24.8h                   // ...........................'.....................................*........................................
        // sqrdmulh v27.8h,      v14.8h, v0.h[5]      // ...........................'...............*..............................................................
        // mul      v24.8h, v14.8h, v0.h[4]           // ...........................'................*.............................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'....................*.........................................................
        // sub v14.8h, v12.8h, v24.8h                 // ...........................'........................*.....................................................
        // add v12.8h, v12.8h, v24.8h                 // ...........................'.........................*....................................................
        // sqrdmulh v27.8h,      v15.8h, v0.h[5]      // ...........................'.....................*........................................................
        // mul      v24.8h, v15.8h, v0.h[4]           // ...........................'......................*.......................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'..........................*...................................................
        // sub v15.8h, v13.8h, v24.8h                 // ...........................'..............................*...............................................
        // add v13.8h, v13.8h, v24.8h                 // ...........................'...............................*..............................................
        // sqrdmulh v27.8h,      v9.8h, v0.h[7]       // ...........................'........................................*.....................................
        // mul      v24.8h, v9.8h, v0.h[6]            // ...........................'.........................................*....................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'.............................................*................................
        // sub v9.8h, v8.8h, v24.8h                   // ...........................'.................................................*............................
        // add v8.8h, v8.8h, v24.8h                   // ...........................'...................................................*..........................
        // sqrdmulh v27.8h,      v11.8h, v1.h[1]      // ...........................'.......................................*......................................
        // mul      v24.8h, v11.8h, v1.h[0]           // ...........................'..........................................*...................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'..............................................*...............................
        // sub v11.8h, v10.8h, v24.8h                 // ...........................'....................................................*.........................
        // add v10.8h, v10.8h, v24.8h                 // ...........................'.....................................................*........................
        // sqrdmulh v27.8h,      v13.8h, v1.h[3]      // ...........................'...................................*..........................................
        // mul      v24.8h, v13.8h, v1.h[2]           // ...........................'......................................*.......................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'...........................................*..................................
        // sub v13.8h, v12.8h, v24.8h                 // ...........................'...............................................*..............................
        // add v12.8h, v12.8h, v24.8h                 // ...........................'................................................*.............................
        // sqrdmulh v27.8h,      v15.8h, v1.h[5]      // ...........................'............................................*.................................
        // mul      v24.8h, v15.8h, v1.h[4]           // ...........................'..................................................*...........................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'......................................................*.......................
        // sub v15.8h, v14.8h, v24.8h                 // ..~........................'..........................................................*...................
        // add v14.8h, v14.8h, v24.8h                 // ...~.......................'...........................................................*..................
        // str q8, [x0], #(16)                        // ...........................'.......................................................*......................
        // str q9, [x0, #(-16 + 1*(512/8))]           // ....~......................'............................................................*.................
        // str q10, [x0, #(-16 + 2*(512/8))]          // .......~...................'...............................................................*..............
        // str q11, [x0, #(-16 + 3*(512/8))]          // ..........~................'..................................................................*...........
        // str q12, [x0, #(-16 + 4*(512/8))]          // .............~.............'.....................................................................*........
        // str q13, [x0, #(-16 + 5*(512/8))]          // ................~..........'........................................................................*.....
        // str q14, [x0, #(-16 + 6*(512/8))]          // ...................~.......'...........................................................................*..
        // str q15, [x0, #(-16 + 7*(512/8))]          // .....................~.....'.............................................................................*

        sub count, count, 1
        cbnz count, 1b
                                                // Instructions:    66
                                                // Expected cycles: 67
                                                // Expected IPC:    0.99
                                                //
                                                // Cycle bound:     67.0
                                                // IPC bound:       0.99
                                                //
                                                // Wall time:     7.51s
                                                // User time:     7.51s
                                                //
                                                // ------------------------ cycle (expected) ------------------------>
                                                // 0                        25                       50
                                                // |------------------------|------------------------|----------------
        sqrdmulh v27.8H, v11.8H, v0.H[1]        // *..................................................................
        mul v8.8H, v13.8H, v0.H[0]              // .*.................................................................
        sqrdmulh v22.8H, v13.8H, v0.H[1]        // ..*................................................................
        mul v11.8H, v17.8H, v0.H[0]             // ...*...............................................................
        mls v15.8H, v27.8H, v7.H[0]             // ....*..............................................................
        sqrdmulh v28.8H, v17.8H, v0.H[1]        // .....*.............................................................
        mls v8.8H, v22.8H, v7.H[0]              // ......*............................................................
        sqrdmulh v5.8H, v23.8H, v0.H[1]         // .......*...........................................................
        add v16.8H, v20.8H, v15.8H              // ........*..........................................................
        mls v11.8H, v28.8H, v7.H[0]             // .........*.........................................................
        sub v6.8H, v29.8H, v8.8H                // ..........*........................................................
        sqrdmulh v17.8H, v16.8H, v0.H[3]        // ...........*.......................................................
        mul v23.8H, v16.8H, v0.H[2]             // ............*......................................................
        mul v13.8H, v6.8H, v0.H[4]              // .............*.....................................................
        sqrdmulh v28.8H, v6.8H, v0.H[5]         // ..............*....................................................
        mls v2.8H, v5.8H, v7.H[0]               // ...............*...................................................
        mls v23.8H, v17.8H, v7.H[0]             // ................*..................................................
        add v27.8H, v26.8H, v11.8H              // .................*.................................................
        mls v13.8H, v28.8H, v7.H[0]             // ..................*................................................
        sub v9.8H, v21.8H, v2.8H                // ...................*...............................................
        add v18.8H, v29.8H, v8.8H               // ....................*..............................................
        sub v14.8H, v27.8H, v23.8H              // .....................*.............................................
        add v29.8H, v9.8H, v13.8H               // ......................*............................................
        sub v30.8H, v9.8H, v13.8H               // .......................*...........................................
        mul v28.8H, v14.8H, v1.H[0]             // ........................*..........................................
        sqrdmulh v9.8H, v18.8H, v0.H[3]         // .........................*.........................................
        mul v22.8H, v18.8H, v0.H[2]             // ..........................*........................................
        sqrdmulh v17.8H, v14.8H, v1.H[1]        // ...........................*.......................................
        sub v14.8H, v20.8H, v15.8H              // ............................*......................................
        add v24.8H, v21.8H, v2.8H               // .............................*.....................................
        mls v22.8H, v9.8H, v7.H[0]              // ..............................*....................................
        sqrdmulh v9.8H, v14.8H, v0.H[5]         // ...............................*...................................
        mul v13.8H, v14.8H, v0.H[4]             // ................................*..................................
        mls v28.8H, v17.8H, v7.H[0]             // .................................*.................................
        sub v5.8H, v24.8H, v22.8H               // ..................................*................................
        sub v2.8H, v26.8H, v11.8H               // ...................................*...............................
        mls v13.8H, v9.8H, v7.H[0]              // ....................................*..............................
        sub v17.8H, v5.8H, v28.8H               // .....................................*.............................
        add v14.8H, v5.8H, v28.8H               // ......................................*............................
        add v28.8H, v27.8H, v23.8H              // .......................................*...........................
        str q17, [x0, #192]                     // ........................................*..........................
        add v17.8H, v2.8H, v13.8H               // .........................................*.........................
        str q14, [x0, #128]                     // ..........................................*........................
        sub v13.8H, v2.8H, v13.8H               // ...........................................*.......................
        sqrdmulh v26.8H, v17.8H, v1.H[3]        // ............................................*......................
        mul v15.8H, v17.8H, v1.H[2]             // .............................................*.....................
        add v5.8H, v24.8H, v22.8H               // ..............................................*....................
        sqrdmulh v23.8H, v13.8H, v1.H[5]        // ...............................................*...................
        mul v13.8H, v13.8H, v1.H[4]             // ................................................*..................
        mls v15.8H, v26.8H, v7.H[0]             // .................................................*.................
        sqrdmulh v14.8H, v28.8H, v0.H[7]        // ..................................................*................
        mul v17.8H, v28.8H, v0.H[6]             // ...................................................*...............
        mls v13.8H, v23.8H, v7.H[0]             // ....................................................*..............
        add v6.8H, v29.8H, v15.8H               // .....................................................*.............
        sub v28.8H, v29.8H, v15.8H              // ......................................................*............
        mls v17.8H, v14.8H, v7.H[0]             // .......................................................*...........
        str q6, [x0, #256]                      // ........................................................*..........
        add v14.8H, v30.8H, v13.8H              // .........................................................*.........
        str q28, [x0, #320]                     // ..........................................................*........
        sub v23.8H, v30.8H, v13.8H              // ...........................................................*.......
        str q14, [x0, #384]                     // ............................................................*......
        add v3.8H, v5.8H, v17.8H                // .............................................................*.....
        str q23, [x0, #448]                     // ..............................................................*....
        sub v28.8H, v5.8H, v17.8H               // ...............................................................*...
        str q3, [x0], #(16)                     // ................................................................*..
        str q28, [x0, #48]                      // ..................................................................*

                                                 // ------------------------ cycle (expected) ------------------------>
                                                 // 0                        25                       50
                                                 // |------------------------|------------------------|----------------
        // sqrdmulh v14.8H, v23.8H, v0.H[1]      // .......*...........................................................
        // sqrdmulh v23.8H, v17.8H, v0.H[1]      // .....*.............................................................
        // mul v17.8H, v17.8H, v0.H[0]           // ...*...............................................................
        // sqrdmulh v28.8H, v13.8H, v0.H[1]      // ..*................................................................
        // mls v2.8H, v14.8H, v7.H[0]            // ...............*...................................................
        // mul v14.8H, v13.8H, v0.H[0]           // .*.................................................................
        // mls v17.8H, v23.8H, v7.H[0]           // .........*.........................................................
        // sqrdmulh v23.8H, v11.8H, v0.H[1]      // *..................................................................
        // sub v11.8H, v21.8H, v2.8H             // ...................*...............................................
        // mls v14.8H, v28.8H, v7.H[0]           // ......*............................................................
        // sub v28.8H, v26.8H, v17.8H            // ...................................*...............................
        // add v17.8H, v26.8H, v17.8H            // .................*.................................................
        // add v2.8H, v21.8H, v2.8H              // .............................*.....................................
        // sub v13.8H, v29.8H, v14.8H            // ..........*........................................................
        // add v14.8H, v29.8H, v14.8H            // ....................*..............................................
        // mls v15.8H, v23.8H, v7.H[0]           // ....*..............................................................
        // sqrdmulh v23.8H, v13.8H, v0.H[5]      // ..............*....................................................
        // mul v13.8H, v13.8H, v0.H[4]           // .............*.....................................................
        // sqrdmulh v21.8H, v14.8H, v0.H[3]      // .........................*.........................................
        // sub v26.8H, v20.8H, v15.8H            // ............................*......................................
        // add v15.8H, v20.8H, v15.8H            // ........*..........................................................
        // mls v13.8H, v23.8H, v7.H[0]           // ..................*................................................
        // sqrdmulh v23.8H, v26.8H, v0.H[5]      // ...............................*...................................
        // mul v26.8H, v26.8H, v0.H[4]           // ................................*..................................
        // mul v14.8H, v14.8H, v0.H[2]           // ..........................*........................................
        // sub v29.8H, v11.8H, v13.8H            // .......................*...........................................
        // add v11.8H, v11.8H, v13.8H            // ......................*............................................
        // mls v26.8H, v23.8H, v7.H[0]           // ....................................*..............................
        // sqrdmulh v23.8H, v15.8H, v0.H[3]      // ...........*.......................................................
        // mul v13.8H, v15.8H, v0.H[2]           // ............*......................................................
        // mls v14.8H, v21.8H, v7.H[0]           // ..............................*....................................
        // sub v15.8H, v28.8H, v26.8H            // ...........................................*.......................
        // add v28.8H, v28.8H, v26.8H            // .........................................*.........................
        // mls v13.8H, v23.8H, v7.H[0]           // ................*..................................................
        // sub v23.8H, v2.8H, v14.8H             // ..................................*................................
        // add v14.8H, v2.8H, v14.8H             // ..............................................*....................
        // sqrdmulh v2.8H, v28.8H, v1.H[3]       // ............................................*......................
        // sub v21.8H, v17.8H, v13.8H            // .....................*.............................................
        // add v17.8H, v17.8H, v13.8H            // .......................................*...........................
        // mul v28.8H, v28.8H, v1.H[2]           // .............................................*.....................
        // sqrdmulh v13.8H, v21.8H, v1.H[1]      // ...........................*.......................................
        // sqrdmulh v26.8H, v17.8H, v0.H[7]      // ..................................................*................
        // mul v17.8H, v17.8H, v0.H[6]           // ...................................................*...............
        // mul v21.8H, v21.8H, v1.H[0]           // ........................*..........................................
        // mls v28.8H, v2.8H, v7.H[0]            // .................................................*.................
        // sqrdmulh v2.8H, v15.8H, v1.H[5]       // ...............................................*...................
        // mls v17.8H, v26.8H, v7.H[0]           // .......................................................*...........
        // mls v21.8H, v13.8H, v7.H[0]           // .................................*.................................
        // sub v13.8H, v11.8H, v28.8H            // ......................................................*............
        // add v28.8H, v11.8H, v28.8H            // .....................................................*.............
        // sub v11.8H, v14.8H, v17.8H            // ...............................................................*...
        // mul v15.8H, v15.8H, v1.H[4]           // ................................................*..................
        // add v14.8H, v14.8H, v17.8H            // .............................................................*.....
        // sub v17.8H, v23.8H, v21.8H            // .....................................*.............................
        // add v23.8H, v23.8H, v21.8H            // ......................................*............................
        // mls v15.8H, v2.8H, v7.H[0]            // ....................................................*..............
        // str q14, [x0], #(16)                  // ................................................................*..
        // sub v14.8H, v29.8H, v15.8H            // ...........................................................*.......
        // add v2.8H, v29.8H, v15.8H             // .........................................................*.........
        // str q11, [x0, #48]                    // ..................................................................*
        // str q23, [x0, #112]                   // ..........................................*........................
        // str q17, [x0, #176]                   // ........................................*..........................
        // str q28, [x0, #240]                   // ........................................................*..........
        // str q13, [x0, #304]                   // ..........................................................*........
        // str q2, [x0, #368]                    // ............................................................*......
        // str q14, [x0, #432]                   // ..............................................................*....


        mov in, inp
        mov count, #8

        .p2align 2
                                                // Instructions:    24
                                                // Expected cycles: 31
                                                // Expected IPC:    0.77
                                                //
                                                // Cycle bound:     31.0
                                                // IPC bound:       0.77
                                                //
                                                // Wall time:     0.08s
                                                // User time:     0.08s
                                                //
                                                // ------ cycle (expected) ------>
                                                // 0                        25
                                                // |------------------------|-----
        ldr q2, [x1], #16                       // *..............................
        ldr q14, [x0, #48]                      // ..*............................
        ldr q1, [x0, #32]                       // ....*..........................
        mul v17.8H, v14.8H, v2.H[0]             // ......*........................
        sqrdmulh v14.8H, v14.8H, v2.H[1]        // .......*.......................
        mul v8.8H, v1.8H, v2.H[0]               // ........*......................
        ldr q23, [x0, #16]                      // .........*.....................
        mls v17.8H, v14.8H, v7.H[0]             // ...........*...................
        sqrdmulh v1.8H, v1.8H, v2.H[1]          // ............*..................
        ldr q30, [x2], #(6*16)                  // .............*.................
        sub v14.8H, v23.8H, v17.8H              // ...............*...............
        add v10.8H, v23.8H, v17.8H              // ................*..............
        mls v8.8H, v1.8H, v7.H[0]               // .................*.............
        sqrdmulh v1.8H, v14.8H, v2.H[5]         // ..................*............
        mul v14.8H, v14.8H, v2.H[4]             // ...................*...........
        ldr q27, [x0, #0]                       // ....................*..........
        mul v23.8H, v10.8H, v2.H[2]             // ......................*........
        mls v14.8H, v1.8H, v7.H[0]              // .......................*.......
        sub v1.8H, v27.8H, v8.8H                // ........................*......
        ldr q28, [x2, #-64]                     // .........................*.....
        add v12.8H, v1.8H, v14.8H               // ...........................*...
        sqrdmulh v21.8H, v10.8H, v2.H[3]        // ............................*..
        sub v5.8H, v1.8H, v14.8H                // .............................*.
        ldr q13, [x2, #-16]                     // ..............................*

                                                 // ------ cycle (expected) ------>
                                                 // 0                        25
                                                 // |------------------------|-----
        // ldr q19, [x0, #48]                    // ..*............................
        // ldr q1, [x1], #16                     // *..............................
        // mul v4.8H, v19.8H, v1.H[0]            // ......*........................
        // sqrdmulh v19.8H, v19.8H, v1.H[1]      // .......*.......................
        // ldr q25, [x0, #16]                    // .........*.....................
        // mls v4.8H, v19.8H, v7.H[0]            // ...........*...................
        // sub v24.8H, v25.8H, v4.8H             // ...............*...............
        // add v4.8H, v25.8H, v4.8H              // ................*..............
        // sqrdmulh v23.8H, v24.8H, v1.H[5]      // ..................*............
        // mul v20.8H, v24.8H, v1.H[4]           // ...................*...........
        // sqrdmulh v21.8H, v4.8H, v1.H[3]       // ............................*..
        // mls v20.8H, v23.8H, v7.H[0]           // .......................*.......
        // mul v23.8H, v4.8H, v1.H[2]            // ......................*........
        // ldr q31, [x0, #32]                    // ....*..........................
        // mul v8.8H, v31.8H, v1.H[0]            // ........*......................
        // sqrdmulh v1.8H, v31.8H, v1.H[1]       // ............*..................
        // mls v8.8H, v1.8H, v7.H[0]             // .................*.............
        // ldr q27, [x0, #0]                     // ....................*..........
        // sub v10.8H, v27.8H, v8.8H             // ........................*......
        // add v12.8H, v10.8H, v20.8H            // ...........................*...
        // ldr q30, [x2], #(6*16)                // .............*.................
        // ldr q28, [x2, #-64]                   // .........................*.....
        // sub v5.8H, v10.8H, v20.8H             // .............................*.
        // ldr q13, [x2, #-16]                   // ..............................*

        sub count, count, #1
1:
                                                // Instructions:    71
                                                // Expected cycles: 82
                                                // Expected IPC:    0.87
                                                //
                                                // Cycle bound:     82.0
                                                // IPC bound:       0.87
                                                //
                                                // Wall time:     11.93s
                                                // User time:     11.93s
                                                //
                                                // ------------------------------- cycle (expected) -------------------------------->
                                                // 0                        25                       50                       75
                                                // |------------------------|------------------------|------------------------|------
        ldr q19, [x0, #112]                     // e.................................................................................
        ldr q1, [x1], #16                       // ..e...............................................................................
        mls v23.8H, v21.8H, v7.H[0]             // ....*.............................................................................
        add v6.8H, v27.8H, v8.8H                // .....*............................................................................
        mul v4.8H, v19.8H, v1.H[0]              // ......e...........................................................................
        sqrdmulh v19.8H, v19.8H, v1.H[1]        // .......e..........................................................................
        ldr q25, [x0, #80]                      // ........e.........................................................................
        trn1 v11.4S, v12.4S, v5.4S              // ..........*.......................................................................
        mls v4.8H, v19.8H, v7.H[0]              // ...........e......................................................................
        sub v0.8H, v6.8H, v23.8H                // ............*.....................................................................
        ldr q16, [x2, #-80]                     // .............*....................................................................
        sub v24.8H, v25.8H, v4.8H               // ...............e..................................................................
        add v26.8H, v6.8H, v23.8H               // ................*.................................................................
        add v4.8H, v25.8H, v4.8H                // .................e................................................................
        sqrdmulh v23.8H, v24.8H, v1.H[5]        // ..................e...............................................................
        mul v20.8H, v24.8H, v1.H[4]             // ...................e..............................................................
        sqrdmulh v21.8H, v4.8H, v1.H[3]         // ....................e.............................................................
        trn1 v27.4S, v26.4S, v0.4S              // .....................*............................................................
        trn2 v25.4S, v12.4S, v5.4S              // ......................*...........................................................
        mls v20.8H, v23.8H, v7.H[0]             // .......................e..........................................................
        mul v23.8H, v4.8H, v1.H[2]              // ........................e.........................................................
        ldr q31, [x0, #96]                      // .........................e........................................................
        trn2 v12.4S, v26.4S, v0.4S              // ...........................*......................................................
        trn2 v19.2D, v27.2D, v11.2D             // ............................*.....................................................
        mul v8.8H, v31.8H, v1.H[0]              // .............................e....................................................
        sqrdmulh v1.8H, v31.8H, v1.H[1]         // ..............................e...................................................
        trn2 v10.2D, v12.2D, v25.2D             // ...............................*..................................................
        sqrdmulh v0.8H, v19.8H, v16.8H          // ................................*.................................................
        sqrdmulh v18.8H, v10.8H, v16.8H         // .................................*................................................
        trn1 v16.2D, v27.2D, v11.2D             // ..................................*...............................................
        trn1 v2.2D, v12.2D, v25.2D              // ...................................*..............................................
        mul v12.8H, v10.8H, v30.8H              // ....................................*.............................................
        mul v10.8H, v19.8H, v30.8H              // .....................................*............................................
        mls v8.8H, v1.8H, v7.H[0]               // ......................................e...........................................
        ldr q14, [x2, #-48]                     // .......................................*..........................................
        mls v10.8H, v0.8H, v7.H[0]              // .........................................*........................................
        mls v12.8H, v18.8H, v7.H[0]             // ..........................................*.......................................
        ldr q27, [x0, #64]                      // ...........................................e......................................
        add v9.8H, v16.8H, v10.8H               // .............................................*....................................
        sub v16.8H, v16.8H, v10.8H              // ..............................................*...................................
        sub v25.8H, v2.8H, v12.8H               // ...............................................*..................................
        add v30.8H, v2.8H, v12.8H               // ................................................*.................................
        sub v10.8H, v27.8H, v8.8H               // .................................................e................................
        sqrdmulh v22.8H, v25.8H, v13.8H         // ..................................................*...............................
        sqrdmulh v13.8H, v30.8H, v14.8H         // ...................................................*..............................
        ldr q14, [x2, #-32]                     // ....................................................*.............................
        add v12.8H, v10.8H, v20.8H              // ......................................................e...........................
        mul v5.8H, v30.8H, v28.8H               // .......................................................*..........................
        mul v26.8H, v25.8H, v14.8H              // ........................................................*.........................
        ldr q30, [x2], #(6*16)                  // .........................................................e........................
        mls v5.8H, v13.8H, v7.H[0]              // ...........................................................*......................
        mls v26.8H, v22.8H, v7.H[0]             // ............................................................*.....................
        ldr q28, [x2, #-64]                     // .............................................................e....................
        add v13.8H, v9.8H, v5.8H                // ...............................................................*..................
        sub v9.8H, v9.8H, v5.8H                 // ................................................................*.................
        sub v5.8H, v16.8H, v26.8H               // .................................................................*................
        add v25.8H, v16.8H, v26.8H              // ..................................................................*...............
        trn1 v15.4S, v13.4S, v9.4S              // ...................................................................*..............
        trn2 v3.4S, v13.4S, v9.4S               // ....................................................................*.............
        trn1 v13.4S, v25.4S, v5.4S              // .....................................................................*............
        trn2 v31.4S, v25.4S, v5.4S              // ......................................................................*...........
        sub v5.8H, v10.8H, v20.8H               // .......................................................................e..........
        trn1 v2.2D, v15.2D, v13.2D              // ........................................................................*.........
        trn2 v9.2D, v15.2D, v13.2D              // .........................................................................*........
        str q2, [x0], #(16*4)                   // ..........................................................................*.......
        trn1 v29.2D, v3.2D, v31.2D              // ...........................................................................*......
        str q9, [x0, #-32]                      // ............................................................................*.....
        trn2 v9.2D, v3.2D, v31.2D               // .............................................................................*....
        str q29, [x0, #-48]                     // ..............................................................................*...
        ldr q13, [x2, #-16]                     // ...............................................................................e..
        str q9, [x0, #-16]                      // .................................................................................*

                                                      // ------------------------------------------------------------------------ cycle (expected) ------------------------------------------------------------------------->
                                                      // 0                        25                       50                       75                       100                      125                      150
                                                      // |------------------------|------------------------|------------------------|------------------------|------------------------|------------------------|-------------
        // ldr q8, [x0, #(16*0)]                      // ...........................................e......................................'..........................................~......................................
        // ldr q9, [x0, #(16*1)]                      // ........e.........................................................................'.......~.........................................................................
        // ldr q10, [x0, #(16*2)]                     // .........................e........................................................'........................~........................................................
        // ldr q11, [x0, #(16*3)]                     // e.................................................................................~.................................................................................
        // ldr q0, [x1], #16                          // ..e...............................................................................'.~...............................................................................
        // sqrdmulh v27.8h,      v10.8h, v0.h[1]      // ..............................e...................................................'.............................~...................................................
        // mul      v24.8h, v10.8h, v0.h[0]           // .............................e....................................................'............................~....................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ......................................e...........................................'.....................................~...........................................
        // sub v10.8h, v8.8h, v24.8h                  // .................................................e................................'................................................~................................
        // add v8.8h, v8.8h, v24.8h                   // .....~............................................................................'....*............................................................................
        // sqrdmulh v27.8h,      v11.8h, v0.h[1]      // .......e..........................................................................'......~..........................................................................
        // mul      v24.8h, v11.8h, v0.h[0]           // ......e...........................................................................'.....~...........................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........e......................................................................'..........~......................................................................
        // sub v11.8h, v9.8h, v24.8h                  // ...............e..................................................................'..............~..................................................................
        // add v9.8h, v9.8h, v24.8h                   // .................e................................................................'................~................................................................
        // sqrdmulh v27.8h,      v9.8h, v0.h[3]       // ....................e.............................................................'...................~.............................................................
        // mul      v24.8h, v9.8h, v0.h[2]            // ........................e.........................................................'.......................~.........................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ....~.............................................................................'...*.............................................................................
        // sub v9.8h, v8.8h, v24.8h                   // ............~.....................................................................'...........*.....................................................................
        // add v8.8h, v8.8h, v24.8h                   // ................~.................................................................'...............*.................................................................
        // sqrdmulh v27.8h,      v11.8h, v0.h[5]      // ..................e...............................................................'.................~...............................................................
        // mul      v24.8h, v11.8h, v0.h[4]           // ...................e..............................................................'..................~..............................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // .......................e..........................................................'......................~..........................................................
        // sub v11.8h, v10.8h, v24.8h                 // .......................................................................e..........'......................................................................~..........
        // add v10.8h, v10.8h, v24.8h                 // ......................................................e...........................'.....................................................~...........................
        // trn1 v25.4s, v8.4s, v9.4s                  // .....................~............................................................'....................*............................................................
        // trn2 v26.4s, v8.4s, v9.4s                  // ...........................~......................................................'..........................*......................................................
        // trn1 v27.4s, v10.4s, v11.4s                // ..........~.......................................................................'.........*.......................................................................
        // trn2 v28.4s, v10.4s, v11.4s                // ......................~...........................................................'.....................*...........................................................
        // trn2 v10.2d, v25.2d, v27.2d                // ............................~.....................................................'...........................*.....................................................
        // trn2 v11.2d, v26.2d, v28.2d                // ...............................~..................................................'..............................*..................................................
        // trn1 v8.2d, v25.2d, v27.2d                 // ..................................~...............................................'.................................*...............................................
        // trn1 v9.2d, v26.2d, v28.2d                 // ...................................~..............................................'..................................*..............................................
        // ldr q0,    [x2], #(6*16)                   // .........................................................e........................'........................................................~........................
        // ldr q4, [x2, #(-6*16 + 1*16)]              // .............~....................................................................'............*....................................................................
        // ldr q1,    [x2, #(-6*16 + 2*16)]           // .............................................................e....................'............................................................~....................
        // ldr q5, [x2, #(-6*16 + 3*16)]              // .......................................~..........................................'......................................*..........................................
        // ldr q2,    [x2, #(-6*16 + 4*16)]           // ....................................................~.............................'...................................................*.............................
        // ldr q6, [x2, #(-6*16 + 5*16)]              // ...............................................................................e..'..............................................................................~..
        // sqrdmulh v27.8h,   v10.8h, v4.8h           // ................................~.................................................'...............................*.................................................
        // mul      v24.8h, v10.8h, v0.8h             // .....................................~............................................'....................................*............................................
        // mls      v24.8h, v27.8h,   v7.h[0]         // .........................................~........................................'........................................*........................................
        // sub v10.8h, v8.8h, v24.8h                  // ..............................................~...................................'.............................................*...................................
        // add v8.8h, v8.8h, v24.8h                   // .............................................~....................................'............................................*....................................
        // sqrdmulh v27.8h,   v11.8h, v4.8h           // .................................~................................................'................................*................................................
        // mul      v24.8h, v11.8h, v0.8h             // ....................................~.............................................'...................................*.............................................
        // mls      v24.8h, v27.8h,   v7.h[0]         // ..........................................~.......................................'.........................................*.......................................
        // sub v11.8h, v9.8h, v24.8h                  // ...............................................~..................................'..............................................*..................................
        // add v9.8h, v9.8h, v24.8h                   // ................................................~.................................'...............................................*.................................
        // sqrdmulh v27.8h,   v9.8h, v5.8h            // ...................................................~..............................'..................................................*..............................
        // mul      v24.8h, v9.8h, v1.8h              // .......................................................~..........................'......................................................*..........................
        // mls      v24.8h, v27.8h,   v7.h[0]         // ...........................................................~......................'..........................................................*......................
        // sub v9.8h, v8.8h, v24.8h                   // ................................................................~.................'...............................................................*.................
        // add v8.8h, v8.8h, v24.8h                   // ...............................................................~..................'..............................................................*..................
        // sqrdmulh v27.8h,   v11.8h, v6.8h           // ..................................................~...............................'.................................................*...............................
        // mul      v24.8h, v11.8h, v2.8h             // ........................................................~.........................'.......................................................*.........................
        // mls      v24.8h, v27.8h,   v7.h[0]         // ............................................................~.....................'...........................................................*.....................
        // sub v11.8h, v10.8h, v24.8h                 // .................................................................~................'................................................................*................
        // add v10.8h, v10.8h, v24.8h                 // ..................................................................~...............'.................................................................*...............
        // trn1 v25.4s, v8.4s, v9.4s                  // ...................................................................~..............'..................................................................*..............
        // trn2 v26.4s, v8.4s, v9.4s                  // ....................................................................~.............'...................................................................*.............
        // trn1 v27.4s, v10.4s, v11.4s                // .....................................................................~............'....................................................................*............
        // trn2 v28.4s, v10.4s, v11.4s                // ......................................................................~...........'.....................................................................*...........
        // trn2 v10.2d, v25.2d, v27.2d                // .........................................................................~........'........................................................................*........
        // trn2 v11.2d, v26.2d, v28.2d                // .............................................................................~....'............................................................................*....
        // trn1 v8.2d, v25.2d, v27.2d                 // ........................................................................~.........'.......................................................................*.........
        // trn1 v9.2d, v26.2d, v28.2d                 // ...........................................................................~......'..........................................................................*......
        // str q8, [x0], #(16*4)                      // ..........................................................................~.......'.........................................................................*.......
        // str q9, [x0, #(-16*3)]                     // ..............................................................................~...'.............................................................................*...
        // str q10, [x0, #(-16*2)]                    // ............................................................................~.....'...........................................................................*.....
        // str q11, [x0, #(-16*1)]                    // .................................................................................~'................................................................................*

        sub count, count, 1
        cbnz count, 1b
                                               // Instructions:    47
                                               // Expected cycles: 52
                                               // Expected IPC:    0.90
                                               //
                                               // Cycle bound:     52.0
                                               // IPC bound:       0.90
                                               //
                                               // Wall time:     5.32s
                                               // User time:     5.32s
                                               //
                                               // ---------------- cycle (expected) ----------------->
                                               // 0                        25                       50
                                               // |------------------------|------------------------|-
        mls v23.8H, v21.8H, v7.H[0]            // *...................................................
        add v14.8H, v27.8H, v8.8H              // .*..................................................
        ldr q1, [x2, #-32]                     // ..*.................................................
        add v17.8H, v14.8H, v23.8H             // ....*...............................................
        sub v23.8H, v14.8H, v23.8H             // .....*..............................................
        trn2 v11.4S, v12.4S, v5.4S             // ......*.............................................
        trn1 v27.4S, v12.4S, v5.4S             // .......*............................................
        trn2 v2.4S, v17.4S, v23.4S             // ........*...........................................
        ldr q26, [x2, #-80]                    // .........*..........................................
        trn2 v14.2D, v2.2D, v11.2D             // ...........*........................................
        trn1 v15.4S, v17.4S, v23.4S            // ............*.......................................
        mul v5.8H, v14.8H, v30.8H              // .............*......................................
        sqrdmulh v23.8H, v14.8H, v26.8H        // ..............*.....................................
        trn2 v17.2D, v15.2D, v27.2D            // ...............*....................................
        trn1 v14.2D, v2.2D, v11.2D             // ................*...................................
        mul v21.8H, v17.8H, v30.8H             // .................*..................................
        mls v5.8H, v23.8H, v7.H[0]             // ..................*.................................
        sqrdmulh v17.8H, v17.8H, v26.8H        // ...................*................................
        ldr q2, [x2, #-48]                     // ....................*...............................
        sub v23.8H, v14.8H, v5.8H              // ......................*.............................
        add v14.8H, v14.8H, v5.8H              // .......................*............................
        mls v21.8H, v17.8H, v7.H[0]            // ........................*...........................
        mul v1.8H, v23.8H, v1.8H               // .........................*..........................
        sqrdmulh v17.8H, v23.8H, v13.8H        // ..........................*.........................
        mul v23.8H, v14.8H, v28.8H             // ...........................*........................
        sqrdmulh v14.8H, v14.8H, v2.8H         // ............................*.......................
        trn1 v28.2D, v15.2D, v27.2D            // .............................*......................
        mls v1.8H, v17.8H, v7.H[0]             // ..............................*.....................
        sub v11.8H, v28.8H, v21.8H             // ...............................*....................
        mls v23.8H, v14.8H, v7.H[0]            // ................................*...................
        add v17.8H, v28.8H, v21.8H             // .................................*..................
        sub v14.8H, v11.8H, v1.8H              // ..................................*.................
        add v1.8H, v11.8H, v1.8H               // ...................................*................
        sub v28.8H, v17.8H, v23.8H             // ....................................*...............
        add v2.8H, v17.8H, v23.8H              // .....................................*..............
        trn1 v23.4S, v1.4S, v14.4S             // ......................................*.............
        trn2 v14.4S, v1.4S, v14.4S             // .......................................*............
        trn2 v17.4S, v2.4S, v28.4S             // ........................................*...........
        trn1 v28.4S, v2.4S, v28.4S             // .........................................*..........
        trn2 v1.2D, v17.2D, v14.2D             // ...........................................*........
        trn1 v14.2D, v17.2D, v14.2D            // ............................................*.......
        str q1, [x0, #48]                      // .............................................*......
        trn2 v1.2D, v28.2D, v23.2D             // ..............................................*.....
        str q14, [x0, #16]                     // ...............................................*....
        trn1 v14.2D, v28.2D, v23.2D            // ................................................*...
        str q1, [x0, #32]                      // .................................................*..
        str q14, [x0], #(16*4)                 // ...................................................*

                                                // ---------------- cycle (expected) ----------------->
                                                // 0                        25                       50
                                                // |------------------------|------------------------|-
        // mls v23.8H, v21.8H, v7.H[0]          // *...................................................
        // add v6.8H, v27.8H, v8.8H             // .*..................................................
        // trn1 v11.4S, v12.4S, v5.4S           // .......*............................................
        // sub v0.8H, v6.8H, v23.8H             // .....*..............................................
        // ldr q16, [x2, #-80]                  // .........*..........................................
        // add v26.8H, v6.8H, v23.8H            // ....*...............................................
        // trn1 v27.4S, v26.4S, v0.4S           // ............*.......................................
        // trn2 v25.4S, v12.4S, v5.4S           // ......*.............................................
        // trn2 v12.4S, v26.4S, v0.4S           // ........*...........................................
        // trn2 v19.2D, v27.2D, v11.2D          // ...............*....................................
        // trn2 v10.2D, v12.2D, v25.2D          // ...........*........................................
        // sqrdmulh v0.8H, v19.8H, v16.8H       // ...................*................................
        // sqrdmulh v18.8H, v10.8H, v16.8H      // ..............*.....................................
        // trn1 v16.2D, v27.2D, v11.2D          // .............................*......................
        // trn1 v2.2D, v12.2D, v25.2D           // ................*...................................
        // mul v12.8H, v10.8H, v30.8H           // .............*......................................
        // mul v10.8H, v19.8H, v30.8H           // .................*..................................
        // ldr q14, [x2, #-48]                  // ....................*...............................
        // mls v10.8H, v0.8H, v7.H[0]           // ........................*...........................
        // mls v12.8H, v18.8H, v7.H[0]          // ..................*.................................
        // add v9.8H, v16.8H, v10.8H            // .................................*..................
        // sub v16.8H, v16.8H, v10.8H           // ...............................*....................
        // sub v25.8H, v2.8H, v12.8H            // ......................*.............................
        // add v30.8H, v2.8H, v12.8H            // .......................*............................
        // sqrdmulh v22.8H, v25.8H, v13.8H      // ..........................*.........................
        // sqrdmulh v13.8H, v30.8H, v14.8H      // ............................*.......................
        // ldr q14, [x2, #-32]                  // ..*.................................................
        // mul v5.8H, v30.8H, v28.8H            // ...........................*........................
        // mul v26.8H, v25.8H, v14.8H           // .........................*..........................
        // mls v5.8H, v13.8H, v7.H[0]           // ................................*...................
        // mls v26.8H, v22.8H, v7.H[0]          // ..............................*.....................
        // add v13.8H, v9.8H, v5.8H             // .....................................*..............
        // sub v9.8H, v9.8H, v5.8H              // ....................................*...............
        // sub v5.8H, v16.8H, v26.8H            // ..................................*.................
        // add v25.8H, v16.8H, v26.8H           // ...................................*................
        // trn1 v15.4S, v13.4S, v9.4S           // .........................................*..........
        // trn2 v3.4S, v13.4S, v9.4S            // ........................................*...........
        // trn1 v13.4S, v25.4S, v5.4S           // ......................................*.............
        // trn2 v31.4S, v25.4S, v5.4S           // .......................................*............
        // trn1 v2.2D, v15.2D, v13.2D           // ................................................*...
        // trn2 v9.2D, v15.2D, v13.2D           // ..............................................*.....
        // str q2, [x0], #(16*4)                // ...................................................*
        // trn1 v29.2D, v3.2D, v31.2D           // ............................................*.......
        // str q9, [x0, #-32]                   // .................................................*..
        // trn2 v9.2D, v3.2D, v31.2D            // ...........................................*........
        // str q29, [x0, #-48]                  // ...............................................*....
        // str q9, [x0, #-16]                   // .............................................*......


        pop_stack
        ret

#endif /* MLKEM_NATIVE_ARITH_BACKEND_AARCH64_OPT */