在DataWorks中,Holo是基于有状态的实时数据计算引擎,用于支持复杂的数据转换和处理任务,为了区分内表和外表,Holo使用以下规则:
(图片来源网络,侵删)
1、内表(Internal Table):
内表是存储在Holo集群中的持久化数据表,可以在不同的任务之间共享和重用。
内表可以是源表、目标表或临时表。
内表的数据可以通过数据集成、数据同步等方式从外部数据源导入,也可以由其他任务生成。
内表的数据在集群中持久化存储,即使任务执行完成,数据也不会丢失。
内表可以使用SQL语句进行查询、插入、更新和删除操作。
2、外表(External Table):
外表是指向外部数据源的引用,可以在Holo任务中使用,但数据本身不存储在Holo集群中。
外表可以是关系型数据库、NoSQL数据库、文件系统等外部数据源。
外表的数据需要在任务执行时从外部数据源读取,执行完成后,数据不会保留在Holo集群中。
外表可以使用SQL语句进行查询操作,但不能进行插入、更新和删除操作。
以下是一个简单的示例,说明如何在DataWorks中使用Holo区分内表和外表:
1、创建内表:
CREATE TABLE internal_table ( id INT, name STRING, age INT ) STORED BY 'org.apache.hive.hcatalog.core.HCatStorer';
2、创建外表:
CREATE EXTERNAL TABLE external_table ( id INT, name STRING, age INT ) LOCATION 'hdfs://localhost:9000/user/hive/warehouse/external_table';
3、查询内表和外表:
查询内表 SELECT * FROM internal_table; 查询外表 SELECT * FROM external_table;
原创文章,作者:未希,如若转载,请注明出处:https://www.kdun.com/ask/574523.html
本网站发布或转载的文章及图片均来自网络,其原创性以及文中表达的观点和判断不代表本网站。如有问题,请联系客服处理。
发表回复