近日,星环科技的Transwarp Data Hub大数据平台再次更新。最新发布的TDH 4.2,基于过去的产品作了全面的改进,其性能在业内已处于国际领先地位。尤其是对SQL的支持上,它实现了99%的SQL 2003支持,唯一支持PL/SQL的引擎(98%),唯一支持ACID分布式事务的SQL引擎;第一个支持SSD的基于Hadoop的高效计算引擎;支持多种主流报表工具和ETL工具,定位数据仓库和数据集市市场,可用于补充或替代Oracle、DB2等分析用数据库。支持索引、全文检索,支持图数据库和图算法,支持非结构化数据存储等。同时,支持最多的分布式统计算法和机器学习算法,同时整合超过5000个R语言算法包,适合金融业风险控制、反欺诈、文本分析、精准营销等应用。TDH的产品架构图如下:
Transwarp Discover
TDH 4.2 推出了全新的数据挖掘产品Discover,整合了R语言运行环境、RStudio图形化开发环境,包括了55种新开发的分布式机器学习算法以及R语言原生的数千个算法包,为用户提供了全面的数据分析和挖掘工具。Discover可以和Inceptor无缝连接,采用R语言原生的Data Frame接口和函数进行SQL操作。此外Discover支持基于LDAP和Kerberos的安全认证机制以及访问控制,保证了数据的安全性。
Transwarp Inceptor 4.2
Inceptor 4.2在分布式事务处理上取得新突破,可以满足数据仓库和数据集市市场上的数据一致性和高可用性要求。Inceptor 4.2支持串行化和可串行化的快照隔离两种数据隔离方式,支持容错机制保证系统高可用性。
Inceptor 4.2增强了数据增删改方面的功能,增加了对分区表的事务支持,加强了复杂的CRUD与Merge Into的语法支持,并优化了事务表的统计性能。
在PL/SQL的支持上,Inceptor 4.2完善了更多功能来帮助开发人员提高开发效率,包括支持函数重载,任务的显示与关闭,精确的报错信息等,并解决了高并发情况下的一些问题。
在可用性方面,Inceptor 4.2增加了对Parquet文件的支持,并解决了Metastore的高可用性问题。此外,Inceptor 4.2支持通过SQL设定多租户的硬盘、内存和CPU等资源的配额,支持LDAP & Kerberos 集成认证等,确保数据的安全和平台的可管理性。
Transwarp Stream 4.2
Transwarp Stream在系统高可用性上做了更多的增强。Stream 4.2 新开发了Lazy Receiver进行流控,防止一直读数据导致任务崩溃后,出现大批数据丢失的情况;也支持流任务在发生失败后自动重启。此外,Stream 4.2正式增加了WAL (Write-ahead Log)功能,保证系统的高可用性。
TDH 4.2 提供了更多的组件和服务,包括可视化的交互工具HUE,数据装载工具Sqoop2,任务调度工具 Oozie 4.2,以及Hyperbase数据加载工具SQL Bulkload等。此外,全部组件都支持Kerberos & LDAP安全控制,保证所有组件的任务和数据安全。
为了更生态圈更好的对接,Inceptor 4.2发布了Linux版本ODBC,并且所有版本的JDBC/ODBC都支持基于Kerberos或LDAP的安全控制。此外,TDH 4.2加强了跟业界的整合,已经原生支持ETL工具DataStage 11.3等工具。
星环科技是目前国内极少数掌握大数据核心技术的高科技公司,专注于企业级大数据核心平台数据库软件的研发与服务。公司产品Transwarp Data Hub (TDH)以其业界最完整的SQL on Hadoop支持; 独特的对分布式ACID数据一致性支持;以及对SSD优化提高集群性价比等特点,比肩硅谷同行。产品的功能和性能在业界处于领先水平。在全球去IOE的大背景下,TDH已成为在数据仓库,数据集市等领域替代传统数据库公认的大数据产品。