Lsg's Blog

Stay Hungry. Stay Foolish.

使用sqoop进行数据迁移,备份

从数据库到数据仓库,从数据全量增量到数据增量

前言 这里这介绍sqoop1,x版本,如果是高版本可以自己查阅学习,但基本操作和功能不会变化太多 安装 添加mysql的驱动 ambari中的jar包位置 : /usr/hdp/current/sqoop-client/lib 添加到lib中: cp mysql-connector-java-5.1.47 /usr/hdp/current/sqoop-client/lib 验证是否安装...

Posted by LSG on June 24, 2019

巧用正则表达式

字符查找,替换、元素定位,处理

正则表达式(regular expression)描述了一种字符串匹配的模式（pattern）,可以 用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。 前言 用多种元字符与运算符可以将小的表达式结合在一起来创建更大的表达式。正则表达式的组件可以是单个的字符、 字符集合、字符范围、字符间的选择或者所有这些组件的任意组合。正则表达式作为一个模板，...

Posted by LSG on March 3, 2019

如何优雅的实现单点登录

信息、载体、抽象、UI 设计乱谈

保证一个账户在多个系统上实现单一用户的登录,跨域,跨应用,是sso解决的问题 “在服务与服务之间共享session的一种解决办法” 1、如何优雅的实现分布式单点登陆 1.1、什么是分布式单点登录,为何使用它,它有哪几种? 单点登录定义 单点登录SSO（Single Sign On）说得简单点就是在一个多系统共存的环境下，用户在一处登录后，就不用在其他系统中登录，也就是用户的...

Posted by LSG on February 21, 2019

my vim!

vim 使用的简易配置,包括文字高亮,行号切换, 文件树浏览 以及 简单的自动补全 “vim : 神一样的编辑器 ” vim:神一样的编辑器 Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器，在Vi的基础上改进和增加了很多特性。 [1] VIM是自由软件。 Vim普遍被推崇为类Vi编辑器中最好的一个，事实上真正的劲敌来自Emacs的不同变体。1999 ...

Posted by LSG on October 16, 2018

我的linux安装了什么工具?

好用的linux上肯定必备一些有趣的工具,这些是我的linux主力机使用的工具

安装内容 ：按照次序~~(暂时不安装一些插件) 包管理工具 yum的更新和基本使用 一套安全协议 openssh 上传下载工具 lrzsz 远程仓库 git 编辑器 vim 一款终极脚本语言 on my zsh 分窗工具 tmux ...

Posted by LSG on July 27, 2018

链接hive数据库的正确方式

本文主要介绍了关于hive权限的配置文件,使用hive连接,使用hiveserver2后天启动,beeline和squi客户端链接hive

自建集群hiveserver2需要后台启动,客户端操作hive比直接链接hive会更方便 “hive: 数据仓库是olap分析中的一款利器” 1.获得账号密码: hive配置文件 hive-site.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 ...

Posted by LSG on July 10, 2018

java io 总结

同步io的使用和异步io的使用

“对语言设计人员来说，创建好的输入／输出系统是一项特别困难的任务。” ――《Think in Java》 历史背景： 无论是系统、还是语言的设计中IO的设计都是异常复杂的。面临的最大的挑战一般是如何覆盖所有可能的因素，我们不仅仅要考虑文件、控制台、网络、内存等不同的种类，而且要处理大量的不同的读取方式，如：顺序读取、随机读取，二进制读取、字符读取，按行读取、按字符读取…… ...

Posted by LSG on May 25, 2018

TCP的罪与罚

3次握手,4次分手,什么是多路复用,通信以什么行式存在

TCP(Transmission Control Protocol)传输控制协议,网络编程中会话层编程将遵守传输层的协议,不用关心传输层一下的细节就能实现网络编程 osi 网络7层协议 主要分为:应用层面和内核层面,主要为解耦,底层规范 app: app{ 应用层 ->TELNET，HTTP，FTP，NFS，SMTP    与其它计算机进行通讯的一个应用，它是对应...

Posted by LSG on February 1, 2018

一台linux虚拟机或网络机器的初步配置

linux 网络,网卡,软件安装 配置

在一台刚配置好的linux机器上,我们需要对其进行网络,网卡,包管理器等进行初步配置 一.网络设置 1.1 安装虚拟机 最小化安装以及后的磁盘挂载 1.2 设置网络区段 在虚拟机的虚拟网络配置中,把虚拟机调成net8 然后设置网关 x.x.x.2 设置网络地址以及smac重新生成 1 2 3 4 5 6 7 8 9 nat和桥接 ├──nat ...

Posted by LSG on February 1, 2018

FEATURED TAGS
linux AI编程 Harness SDD java hadoop Thread hive 调度框架 Agent Claude Code mysql network nio spark
ABOUT ME

Java 后端开发工程师 · 6 年经验
水利水电信息化 · AI 知识库 / 情报系统

FRIENDS