管理大型数据集
问题描述:
我正在开发基于Web的数据分析系统,并且想知道管理大型数据集时最佳做法。我将数据存放在MySQL数据库中并使用php。管理大型数据集
例如,如果我希望能够过滤在我所知道的2所选择的飞行数据表:
- 查询数据库一次所有数据,并使用JavaScript来在客户端过滤数据或
- 执行新的查询每一个过滤器改变
在我看来,这个选项1是更好/更快的选择,但是这是一个坏主意,当这些数据变得非常大的时间来更新数据(即> 100k行)
也许还有其他更好的方法来解决这个问题,但到目前为止我还没有意识到任何建议将不胜感激!
谢谢
答
最好的是查询分贝只为您的需要。
然后,通过ajax加载并在需要时查询您需要的其他部分。
呈现客户端100k行将花费太多时间;)