TokuMX的数据压缩能力令人惊喜

相比原生的MongoDB, TokuMX 提供了三个主要的特性:性能的优化提升,数据压缩特性,支持事物。不过实际使用中到底怎么样呢?
作为已经使用两个月的用户的我表示很满意,公司线上的一个产品使用 TokuMX 两个月以来并没有出现问题。而且让我印象最为深刻的是TokuMX对数据的压缩能力。
因为对写做了优化和压缩,在不影响性能的前提下 TokuMX 比原生的 MongoDB 节约了90%的存储空间。

下面是我们的实际情况: 为了比较,我在同一各集群上起了两套MongoDB,一个是原生的,一个是TukuMx,并使用相同的数据。使用中发现原MongoDB中的数据大小为32GB,而导入到TokuMX中只有3.4GB,果真是节约了90%的存储空间。 MongoDB_Compression
 
具体数据如下:

# du -sh sudops_tokumx
3.4G	sudops_tokumx

# du -sh sudops_mongodb
32G	sudops_mongodb

# ls -tlrh sudops_mongodb/
total 32G
-rwxr-xr-x 1 root root    6 Mar 20 22:29 mongod.lock
-rw------- 1 root root 2.0G Mar 20 22:54 local.9
-rw------- 1 root root 2.0G Mar 20 22:54 local.8
-rw------- 1 root root 2.0G Mar 20 22:54 local.7
-rw------- 1 root root 2.0G Mar 20 22:54 local.6
-rw------- 1 root root 2.0G Mar 20 22:54 local.5
-rw------- 1 root root 2.0G Mar 20 22:54 local.11
-rw------- 1 root root 2.0G Mar 20 22:54 local.10
-rw------- 1 root root 2.0G Mar 20 22:54 local.4
-rw------- 1 root root 2.0G Mar 20 22:54 local.3
-rw------- 1 root root 2.0G Mar 20 22:54 local.2
-rw------- 1 root root  64M Mar 20 22:54 local.0
-rw------- 1 root root 128M Mar 20 23:23 sudops.1
-rw------- 1 root root 256M Mar 20 23:24 sudops.2
-rw------- 1 root root 2.0G Mar 20 23:25 sudops.5
-rw------- 1 root root 512M Mar 20 23:25 sudops.3
drwxr-xr-x 2 root root 4.0K Mar 20 23:26 journal
-rw------- 1 root root  64M Mar 20 23:27 sudops.0
-rw------- 1 root root  16M Mar 20 23:27 local.ns
drwxr-xr-x 2 root root 4.0K Mar 20 23:27 _tmp
-rw------- 1 root root  16M Mar 20 23:27 sudops.ns
-rw------- 1 root root 1.0G Mar 20 23:27 sudops.4
-rw------- 1 root root 2.0G Mar 20 23:27 local.1
-rw------- 1 root root 2.0G Mar 20 23:28 local.12


# ls -trlh sudops/
total 3.4G
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_temp
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_recovery
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_logs
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_environment
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_data
-rwxr-xr-x 1 root root  16K Mar 18 17:16 tokumx.environment
-rwxr-xr-x 1 root root  32K Mar 18 17:17 local_system_version_id__2_8_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:12 local_system_replset_id__a2_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_system_indexes__2_a_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_me_id__448_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_ns_2_7_19.tokumx
-rwxr-xr-x 1 root root    6 Mar 19 13:55 mongod.lock
-rwxr-xr-x 1 root root  32K Mar 19 13:56 local_startup_log_id__5_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:52 sudops_category_id__2b87_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:52 sudops_role_id__29cc_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:55 sudops_menu_id__2a15_1_19.tokumx
-rwxr-xr-x 1 root root  64K Mar 19 18:39 sudops_type_id__2c95_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 19:02 sudops_region_id__48de_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_system_indexes__2965_6_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_system_namespaces__2965_5_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_ns_2965_3_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 21 10:48 sudops_searchRecommend_id__3055_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 26 11:19 sudops_cp_id__2b19_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 26 17:24 local_oplog_refs_p5_id__1905fa1_2_19.tokumx
-rwxr-xr-x 1 root root  32K Apr  8 18:21 sudops_user_id__2989_1_19.tokumx
-rwxr-xr-x 1 root root  96M Apr  8 18:43 local_oplog_rs_p20_id__1ff054b_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr  9 17:24 local_oplog_refs_meta_id__a1_3_19.tokumx
-rwxr-xr-x 1 root root 128M Apr  9 18:39 local_oplog_rs_p21_id__20774ee_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 14 15:13 sudops_component_id__3019_1_19.tokumx
-rwxr-xr-x 1 root root 144M Apr 14 18:16 local_oplog_rs_p26_id__2338b07_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 15 17:54 sudops_channel_id__2f15_1_19.tokumx
-rwxr-xr-x 1 root root 128K Apr 16 15:49 sudops_special_id__2fbb_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 11:09 sudops_searchWord_id__3062_1_19.tokumx
-rwxr-xr-x 1 root root  64K Apr 21 16:44 sudops_assemble_id__2bd68_1_19.tokumx
-rwxr-xr-x 1 root root  64K Apr 21 16:49 sudops_poster_id__2f3e_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 17:24 local_system_namespaces__2_9_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 17:24 local_oplog_rs_meta_id__a1_1_19.tokumx

当初在选择TokuMX的时候我选择了 TokuMX enterprise subscription,号称其支持Hotbackup,不过还始终无法配置成功,还特意在在线咨询了TokuMX的brain polansky,他建议我使用community version。如果有什么问题的话,还是推荐大家加入TokuMX 的 Google Groups。

u2

Related Posts

选择正确的数据库引擎(sql-engine)来访问Hadoop大数据

使用Hadoop数据库”SQL-on-Hadoop”技术,可使得我们可以使用熟悉的SQL语言来访问存储在Hadoop中的大数据。通过合理的查询优化等交给hadoop分布式计算处理,最后通过各种报表或分析工具来处理和研究数据。

Read more

Hive 报 message:Metastore contains multiple versions 错误

[摘要] 早上看到从4点起所有 Hive 任务都跑失败了,手…

Read more

One thought on “TokuMX的数据压缩能力令人惊喜

  1. 亲——TokuMX没有32位的吗?我的虚拟机就是32位的——希望能回复额。。把官网找了遍了也没有

评论已关闭。

You Missed

担心Todesk,向日葵有漏洞和数据泄露?跟我来体验下完美开源替代工具:RustDesk!

  • u2
  • 3月 20, 2026
  • 49 views

具有自我进化能力的国产大模型:MiniMax M2.7

  • u2
  • 3月 19, 2026
  • 117 views
具有自我进化能力的国产大模型:MiniMax M2.7

当AI学会读心术:MindPower框架带来的震撼与思考

  • u2
  • 3月 16, 2026
  • 61 views

AI并没有简化软件工程:它只是让糟糕的工程更容易实现了

  • u2
  • 3月 14, 2026
  • 62 views

当ChatGPT遭遇QuitGPT!

  • u2
  • 3月 13, 2026
  • 71 views

AI安全护栏:保护还是束缚?一场不对称的战争

  • u2
  • 3月 11, 2026
  • 72 views