运维开发网

寻找内存中可扩展的对象存储库,在.net中包含多达1.5亿个小对象

运维开发网 https://www.qedev.com 2020-07-25 14:43 出处:网络 作者:运维开发网整理
我目前正在研究一个需要计算大量数据的数据管理系统:想想一个包含大约1.5亿个带有数据的单元格的Excel表格. 我们使用sql server数据库来存储数据,但由于许多原因,计算性能是次优的.在考虑替代方案时,我想尝试内存中的对象结构. 以下是基本要求: >我们需要一个支持多个用户在我的excel类比的同一“表”上进行更新的结构.如果单个更新的性能足够高,则可以接受序列化所有用户的更新 >我们绝对
我目前正在研究一个需要计算大量数据的数据管理系统:想想一个包含大约1.5亿个带有数据的单元格的Excel表格.

我们使用sql server数据库来存储数据,但由于许多原因,计算性能是次优的.在考虑替代方案时,我想尝试内存中的对象结构.

以下是基本要求:

>我们需要一个支持多个用户在我的excel类比的同一“表”上进行更新的结构.如果单个更新的性能足够高,则可以接受序列化所有用户的更新

>我们绝对不能接受数据丢失

>我们需要对象键上的索引,还有部分键上的一些索引,因此内存中结构必须支持非唯一键,从而有效搜索返回匹配记录集合的部分键

>必须支持.NET

鉴于这些条件,有什么建议吗?

谢谢,

凯末尔

关系数据库上的NoSQL数据库怎么样?像MongoDB或RavenDB之类的东西?

Mongo是一个内存数据库,我相信Raven可以配置为在内存中运行.

还有各种各样的NoSQL数据库.有些适用于“阅读量大”的应用程序,有些适用于“重量级”应用程序.

如果您从预先计算常见搜索或计算中受益,您可能还需要查看CQRS.

我希望“无数据丢失”要求是您最大的决定因素.

0

精彩评论

暂无评论...
验证码 换一张
取 消