怎樣做網(wǎng)站-百度邯鄲今日頭條最新消息
爬了兩天大大小小的一堆坑,今天把一個(gè)簡(jiǎn)單的單機(jī)環(huán)境的流程走通了,記錄一筆。
先來(lái)個(gè)完工環(huán)境照:
mysql+hadoop+hive+flink+iceberg+trino
得益于IBM OPENJ9的優(yōu)化,完全啟動(dòng)后的內(nèi)存占用:
1)執(zhí)行聯(lián)合查詢后的
2)其中trino由于必須使用ORACLE或OPENJDK,只能再安裝多一個(gè)JDK21的環(huán)境
HIVE里ICEBERG的表和數(shù)據(jù):
-- iceberg.test.my_tbl definition
CREATE TABLE iceberg.test.my_tbl (
user_id integer,
user_name varchar,
country varchar,
birthday date
)
WITH (
format = 'PARQUET',
format_version = 2,
location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',
partitioning = ARRAY['country']
);
MYSQL里的表和數(shù)據(jù):
-- dict.dict.country definition
CREATE TABLE dict.dict.country (
country_name varchar(2) NOT NULL,
country_cn varchar(20) NOT NULL
);
聯(lián)合查詢的執(zhí)行結(jié)果: