管理大型数据集

问题描述:

我正在开发基于Web的数据分析系统,并且想知道管理大型数据集时最佳做法。我将数据存放在MySQL数据库中并使用php。管理大型数据集

例如,如果我希望能够过滤在我所知道的2所选择的飞行数据表:

  1. 查询数据库一次所有数据,并使用JavaScript来在客户端过滤数据或
  2. 执行新的查询每一个过滤器改变

在我看来,这个选项1是更好/更快的选择,但是这是一个坏主意,当这些数据变得非常大的时间来更新数据(即> 100k行)

也许还有其他更好的方法来解决这个问题,但到目前为止我还没有意识到任何建议将不胜感激!

谢谢

最好的是查询分贝只为您的需要。

然后,通过ajax加载并在需要时查询您需要的其他部分。

呈现客户端100k行将花费太多时间;)