TokuMX的数据压缩能力令人惊喜

相比原生的MongoDB, TokuMX 提供了三个主要的特性:性能的优化提升,数据压缩特性,支持事物。不过实际使用中到底怎么样呢?
作为已经使用两个月的用户的我表示很满意,公司线上的一个产品使用 TokuMX 两个月以来并没有出现问题。而且让我印象最为深刻的是TokuMX对数据的压缩能力。
因为对写做了优化和压缩,在不影响性能的前提下 TokuMX 比原生的 MongoDB 节约了90%的存储空间。

下面是我们的实际情况: 为了比较,我在同一各集群上起了两套MongoDB,一个是原生的,一个是TukuMx,并使用相同的数据。使用中发现原MongoDB中的数据大小为32GB,而导入到TokuMX中只有3.4GB,果真是节约了90%的存储空间。 MongoDB_Compression
 
具体数据如下:

# du -sh sudops_tokumx
3.4G	sudops_tokumx

# du -sh sudops_mongodb
32G	sudops_mongodb

# ls -tlrh sudops_mongodb/
total 32G
-rwxr-xr-x 1 root root    6 Mar 20 22:29 mongod.lock
-rw------- 1 root root 2.0G Mar 20 22:54 local.9
-rw------- 1 root root 2.0G Mar 20 22:54 local.8
-rw------- 1 root root 2.0G Mar 20 22:54 local.7
-rw------- 1 root root 2.0G Mar 20 22:54 local.6
-rw------- 1 root root 2.0G Mar 20 22:54 local.5
-rw------- 1 root root 2.0G Mar 20 22:54 local.11
-rw------- 1 root root 2.0G Mar 20 22:54 local.10
-rw------- 1 root root 2.0G Mar 20 22:54 local.4
-rw------- 1 root root 2.0G Mar 20 22:54 local.3
-rw------- 1 root root 2.0G Mar 20 22:54 local.2
-rw------- 1 root root  64M Mar 20 22:54 local.0
-rw------- 1 root root 128M Mar 20 23:23 sudops.1
-rw------- 1 root root 256M Mar 20 23:24 sudops.2
-rw------- 1 root root 2.0G Mar 20 23:25 sudops.5
-rw------- 1 root root 512M Mar 20 23:25 sudops.3
drwxr-xr-x 2 root root 4.0K Mar 20 23:26 journal
-rw------- 1 root root  64M Mar 20 23:27 sudops.0
-rw------- 1 root root  16M Mar 20 23:27 local.ns
drwxr-xr-x 2 root root 4.0K Mar 20 23:27 _tmp
-rw------- 1 root root  16M Mar 20 23:27 sudops.ns
-rw------- 1 root root 1.0G Mar 20 23:27 sudops.4
-rw------- 1 root root 2.0G Mar 20 23:27 local.1
-rw------- 1 root root 2.0G Mar 20 23:28 local.12


# ls -trlh sudops/
total 3.4G
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_temp
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_recovery
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_logs
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_environment
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_data
-rwxr-xr-x 1 root root  16K Mar 18 17:16 tokumx.environment
-rwxr-xr-x 1 root root  32K Mar 18 17:17 local_system_version_id__2_8_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:12 local_system_replset_id__a2_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_system_indexes__2_a_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_me_id__448_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_ns_2_7_19.tokumx
-rwxr-xr-x 1 root root    6 Mar 19 13:55 mongod.lock
-rwxr-xr-x 1 root root  32K Mar 19 13:56 local_startup_log_id__5_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:52 sudops_category_id__2b87_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:52 sudops_role_id__29cc_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:55 sudops_menu_id__2a15_1_19.tokumx
-rwxr-xr-x 1 root root  64K Mar 19 18:39 sudops_type_id__2c95_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 19:02 sudops_region_id__48de_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_system_indexes__2965_6_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_system_namespaces__2965_5_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_ns_2965_3_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 21 10:48 sudops_searchRecommend_id__3055_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 26 11:19 sudops_cp_id__2b19_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 26 17:24 local_oplog_refs_p5_id__1905fa1_2_19.tokumx
-rwxr-xr-x 1 root root  32K Apr  8 18:21 sudops_user_id__2989_1_19.tokumx
-rwxr-xr-x 1 root root  96M Apr  8 18:43 local_oplog_rs_p20_id__1ff054b_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr  9 17:24 local_oplog_refs_meta_id__a1_3_19.tokumx
-rwxr-xr-x 1 root root 128M Apr  9 18:39 local_oplog_rs_p21_id__20774ee_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 14 15:13 sudops_component_id__3019_1_19.tokumx
-rwxr-xr-x 1 root root 144M Apr 14 18:16 local_oplog_rs_p26_id__2338b07_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 15 17:54 sudops_channel_id__2f15_1_19.tokumx
-rwxr-xr-x 1 root root 128K Apr 16 15:49 sudops_special_id__2fbb_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 11:09 sudops_searchWord_id__3062_1_19.tokumx
-rwxr-xr-x 1 root root  64K Apr 21 16:44 sudops_assemble_id__2bd68_1_19.tokumx
-rwxr-xr-x 1 root root  64K Apr 21 16:49 sudops_poster_id__2f3e_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 17:24 local_system_namespaces__2_9_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 17:24 local_oplog_rs_meta_id__a1_1_19.tokumx

当初在选择TokuMX的时候我选择了 TokuMX enterprise subscription,号称其支持Hotbackup,不过还始终无法配置成功,还特意在在线咨询了TokuMX的brain polansky,他建议我使用community version。如果有什么问题的话,还是推荐大家加入TokuMX 的 Google Groups。

u2

Related Posts

选择正确的数据库引擎(sql-engine)来访问Hadoop大数据

使用Hadoop数据库”SQL-on-Hadoop”技术,可使得我们可以使用熟悉的SQL语言来访问存储在Hadoop中的大数据。通过合理的查询优化等交给hadoop分布式计算处理,最后通过各种报表或分析工具来处理和研究数据。

Hive 报 message:Metastore contains multiple versions 错误

[摘要] 早上看到从4点起所有 Hive 任务都跑失败了,手…

One thought on “TokuMX的数据压缩能力令人惊喜

  1. 亲——TokuMX没有32位的吗?我的虚拟机就是32位的——希望能回复额。。把官网找了遍了也没有

评论已关闭。

You Missed

潘多拉魔盒已打开:开源AI攻击平台正在血洗全球防火墙

  • u2
  • 3月 4, 2026
  • 25 views
潘多拉魔盒已打开:开源AI攻击平台正在血洗全球防火墙

雇佣AI员工,花钱上班:开发者的新”职场”荒诞剧

  • u2
  • 3月 1, 2026
  • 47 views
雇佣AI员工,花钱上班:开发者的新”职场”荒诞剧

OpenClaw 完整使用指南:自托管 AI Agent 的架构与实战

  • u2
  • 2月 25, 2026
  • 163 views
OpenClaw 完整使用指南:自托管 AI Agent 的架构与实战

Anthropic 推出 Claude Code Security:AI 驱动的代码安全神器

  • u2
  • 2月 24, 2026
  • 87 views

来自 OWASP 的代码安全检查工具:Dependency-Check,为你消除安全隐患

  • u2
  • 10月 16, 2025
  • 54 views
来自 OWASP 的代码安全检查工具:Dependency-Check,为你消除安全隐患

技术宅如何躲开越来越垃圾的CSDN?

  • u2
  • 4月 11, 2024
  • 45 views
技术宅如何躲开越来越垃圾的CSDN?