如何在使用SIMD内部函数时在寄存器中保持输入相关的热数据

Question

我正在尝试使用英特尔SIMD内在函数来加速查询答案程序。假设query_cnt依赖于输入，但始终小于SIMD寄存器计数（即，有足够的SIMD寄存器来保存它们）。由于查询是我的应用程序中的热门数据，而不是每次需要时加载它们，我可以首先加载它们并将它们始终保存在寄存器中？

假设查询是float类型，并支持AVX256。现在，我必须使用类似：

std::vector<__m256> vec_queries(query_cnt/8); 
for (int i = 0; i < query_cnt/8; ++i) { 
    vec_queries[i] = _mm256_loadu_ps((float const *)(curr_query_ptr)); 
    curr_query_ptr += 8; 
} 

我知道这是不是一个好的做法，因为存在潜在的加载/存储开销，但至少有轻微的机会vec_queries[i]可以进行优化，使他们能保存在寄存器中，但我仍然认为这不是一个好方法。

有什么更好的点子？

Answer 1

从您发布的代码示例看来，您只是在执行可变长度的memcpy。根据编译器的作用和周围的代码，您可能会从实际调用memcpy获得更好的结果。例如对于大小为16B倍数的对齐副本，向量循环和rep movsb之间的平衡点可能低至Intel Haswell约128字节。查看英特尔的优化手册，了解memcpy的一些实现说明，以及一些关于几种不同策略的大小与周期的图表。 （链接x86标记wiki）。

你没有说什么CPU，所以我只是假设最近的英特尔。

我认为你太担心寄存器。 L1缓存中的负载非常便宜。 Haswell（和Skylake）每个时钟可以执行两次__m256加载（并且在同一周期内存储）。在此之前，Sandybridge/IvyBridge可以在每个时钟执行两次内存操作，其中最多一个是存储。或者在理想条件下（256b负载/存储），它们可以管理每个时钟存储2个16B负载和1个16B存储。因此，加载/存储256b向量比Haswell更昂贵，但如果它们在L1缓存中对齐且很热，它们仍然非常便宜。

我在评论中提到GNU C global register variables可能是一种可能性，但主要是在“这在理论上在技术上是可能的”意义。您可能不希望为您的程序的整个运行时间专门用于此目的的多个向量寄存器（包括库函数调用，因此您必须重新编译它们）。

实际上，只要确保编译器可以内联（或者至少在优化时看到）定义了您在任何重要循环中使用的每个函数。这样可以避免不必在函数调用中溢出/重新载入矢量寄存器（因为Windows和System V x86-64 ABI都没有保存调用YMM（__m256）寄存器）。

请参阅Agner Fog's microarch pdf了解更多关于现代CPU的微架构细节，至少可以通过实验和调整来测量的细节。