Clickhouse与Mybatis相结合
前段时间由于工作需要,在项目上使用了clickhouse作为存储介质,用来存储原始数据,由于时间仓促又仅仅是存储原始数据,所以将功能简单的实现了一下。不过随着项目的进行,存入clickhouse的数据总类越来越多,导致代码十分混乱,每个功能都在创建自己的DataSource,冗余的代码很多,后期维护起来必然是个坑。所以周末花了点时间将Clickhouse和Mybatis进行整合,在此做个记录。
该功能是基于Maven工程的,引入如下依赖包:
<dependency>
<groupId>org.mybatis</groupId>
<artifactId>mybatis</artifactId>
<version>3.5.5</version>
</dependency>
<dependency>
<groupId>ru.yandex.clickhouse</groupId>
<artifactId>clickhouse-jdbc</artifactId>
<version>0.3.1</version>
</dependency>
<dependency>
<groupId>com.zaxxer</groupId>
<artifactId>HikariCP</artifactId>
<version>3.4.5</version>
</dependency>
初始化initSessionFactory(),由于我们的使用环境是内网,所以Clickhouse没有设置用户名和密码。
private static SqlSessionFactory initSessionFactory() {
String url = PropertiesUtil.getProperty("clickhouse.url");
HikariDataSource ds= new HikariDataSource();
ds.setDriverClassName("ru.yandex.clickhouse.ClickHouseDriver");
ds.setJdbcUrl(url);
Environment environment = new Environment("clickhouse", new JdbcTransactionFactory(), ds);
Configuration configuration = new Configuration(environment);
configuration.setLocalCacheScope(LocalCacheScope.STATEMENT);
configuration.addMapper(IDemoMapper.class);
synchronized (CLASS_LOCK) {
if (factory == null ) {
factory = new SqlSessionFactoryBuilder().build(configuration);
}
}
return factory;
}
获取当前连接,getCurrentSqlSession()
public static SqlSession getCurrentSession() {
if (factory == null) {
initSessionFactory();
}
if (sqlSession == null) {
sqlSession = factory.openSession(ExecutorType.BATCH, false);
}
return sqlSession;
}
提交,commit()
public static void commit() {
if (sqlSession == null) {
sqlSession = getCurrentSqlSession();
}
sqlSession.commit();
}
Mapper类,整合所有的SQL。IDemoMapper.java
public interface IMonitorMapper {
@Insert("Insert Sql")
int insertInfo(@Param(value = "item") InfoBean ib);
@Update("Updaye Sql")
void updateInfo(@Param("value1")String value1,@Param("value2")String value2);
}
测试类,ChMybatisMain.java
public class ChMybatisMain{
public static void main(String[] args) {
//ClickHouseMybatisUtil为创建sessionFactory的类
ClickHouseMybatisUtil.getSession().getMapper(IDemoMapper.class).updateInfo("value1","value2");
ClickHouseMybatisUtil.commit;
}
}
工具类,PopLoadUtil.java
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Properties;
public class PopLoadUtil {
private static Properties props;
static {
String fileName = "ch.properties";
props = new Properties();
try {
props.load(new InputStreamReader(PopLoadUtil.class.getClassLoader().getResourceAsStream(fileName),
"UTF-8"));
} catch (IOException e) {
logger.error(e.getMessage(), e);
}
}
public static String getProperty(String key) {
String value = props.getProperty(key.trim());
if (value==null||value.equalsIgnoreCase("")) {
return null;
}
return value.trim();
}
}
以上为整合方式和内容。目前功能平稳运行。
遗留问题
目前项目一次提交万八条数据的没有问题,但是想十万或者百万级的提交,最好不要这样写。建议使用简单粗暴的JDBC方式,导数据的时候使用过,那是相当酸爽。