Lsg's Blog

如何正确的使用java线程池

四种线程池工厂、参数配置与使用注意事项

1.为什么使用线程池: 复用已有资源控制资源总量 2.java自带的四种线程池工厂 2.1 Java通过Executors提供四种线程池，分别为： newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。 newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出...

Posted by LSG on August 21, 2019

java web 开发中的多线程

常见java web开发是如何使用多线程和解决数据冲入问题的

在传统的web开发中: java如何配合Mysql做到多线程+高并发下的数据不重入前言 “常见的javaEE中,例如SSM架构或者SpringBoot项目中我们对多线程和数据重入的感知是很小的,本篇文章将对多线程中的线程之间的协程合作(锁或通信),锁到达了什么粒度,避免数据重入的方式,怎样正确的使用框架解决问题进行阐述” 1. mysql+tomcat多线程(事务模型)解决了...

Posted by LSG on August 1, 2019

activemq同步发送和异步发送

使用amq来消费日志并过滤并发送邮件,每日数据大概8000万

前言具体场景是工作中机器上所有项目服务日志并不落地自己所在机器,而是发送到一台机器的amq上,通过重写log4j源代码,重新解析log4j.propertites文件把所有项目日志分目录,层次的打到各个文件目录下,并把异常日志通过项目配置人的方式发送到每个人的邮件和企业微信上. “ActiveMQ -> 生产者和消费者保证消息可靠性的常见使用” 使用消息队列的优缺点分析 ...

Posted by LSG on July 7, 2019

使用sqoop进行数据迁移,备份

从数据库到数据仓库,从数据全量增量到数据增量

前言这里这介绍sqoop1,x版本,如果是高版本可以自己查阅学习,但基本操作和功能不会变化太多安装添加mysql的驱动 ambari中的jar包位置 : /usr/hdp/current/sqoop-client/lib 添加到lib中: cp mysql-connector-java-5.1.47 /usr/hdp/current/sqoop-client/lib 验证是否安装...

Posted by LSG on June 24, 2019

TCP的罪与罚

3次握手,4次分手,什么是多路复用,通信以什么行式存在

TCP(Transmission Control Protocol)传输控制协议,网络编程中会话层编程将遵守传输层的协议,不用关心传输层一下的细节就能实现网络编程 osi 网络7层协议主要分为:应用层面和内核层面,主要为解耦,底层规范 app: app{ 应用层 ->TELNET，HTTP，FTP，NFS，SMTP 与其它计算机进行通讯的一个应用，它是对应...

Posted by LSG on May 30, 2019

巧用正则表达式

字符查找,替换、元素定位,处理

正则表达式(regular expression)描述了一种字符串匹配的模式（pattern）,可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。前言用多种元字符与运算符可以将小的表达式结合在一起来创建更大的表达式。正则表达式的组件可以是单个的字符、字符集合、字符范围、字符间的选择或者所有这些组件的任意组合。正则表达式作为一个模板，...

Posted by LSG on March 3, 2019

如何优雅的实现单点登录

信息、载体、抽象、UI 设计乱谈

保证一个账户在多个系统上实现单一用户的登录,跨域,跨应用,是sso解决的问题 “在服务与服务之间共享session的一种解决办法” 1、如何优雅的实现分布式单点登陆 1.1、什么是分布式单点登录,为何使用它,它有哪几种? 单点登录定义单点登录SSO（Single Sign On）说得简单点就是在一个多系统共存的环境下，用户在一处登录后，就不用在其他系统中登录，也就是用户的...

Posted by LSG on February 21, 2019

my vim!

vim 使用的简易配置,包括文字高亮,行号切换, 文件树浏览以及简单的自动补全 “vim : 神一样的编辑器 ” vim:神一样的编辑器 Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器，在Vi的基础上改进和增加了很多特性。 [1] VIM是自由软件。 Vim普遍被推崇为类Vi编辑器中最好的一个，事实上真正的劲敌来自Emacs的不同变体。1999 ...

Posted by LSG on October 16, 2018

我的linux安装了什么工具?

好用的linux上肯定必备一些有趣的工具,这些是我的linux主力机使用的工具

安装内容：按照次序~~(暂时不安装一些插件) 包管理工具 yum的更新和基本使用一套安全协议 openssh 上传下载工具 lrzsz 远程仓库 git 编辑器 vim 一款终极脚本语言 on my zsh 分窗工具 tmux ...

Posted by LSG on July 27, 2018

链接hive数据库的正确方式

本文主要介绍了关于hive权限的配置文件,使用hive连接,使用hiveserver2后天启动,beeline和squi客户端链接hive

自建集群hiveserver2需要后台启动,客户端操作hive比直接链接hive会更方便 “hive: 数据仓库是olap分析中的一款利器” 1.获得账号密码: hive配置文件 hive-site.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 ...

Posted by LSG on July 10, 2018

ABOUT ME