DingYun Blog | 定陨的博客

spark调优总结

信息、载体、抽象、线程设计乱谈

使用Spark的一些调优经验一.Spark优化图解二.Spark 2.1代码把公共常用的配置项直接优先配置,之后具体实例可以覆盖配置配置内容: 序列化方式: KryoSerializer 调度模式 spark.streaming.stopGracefullyOnShutdown spark.reducer....

Posted by LSG on November 21, 2019

Linux 常用监控命令

信息、载体、抽象、UI 设计乱谈

很多时候项目出现的问题不是代码的问题,是运维的问题,下面是日常工作排查机器问题的常用命令前言 linux 运维监控包括很多维度: 磁盘,io,网络,负载,端口监控,日志记录等等 “总而言之,万物皆文件就是Linux” 磁盘监控 df -lh du -sh /data/* 删除线上日志 true > INFO- true > ERR...

Posted by LSG on October 24, 2019

Apache Commons CLI 使用说明

信息、载体、抽象、线程设计乱谈

Apache Commons CLI 提供了很多实用的工具和类实现，方便了我们对命令行工具的开发。 1.Commons-CLI 介绍随着科学计算可视化飞速发展，人机交互技术不断更新，但传统的命令行模式依旧被广泛应用。 Commons-CLI依旧广泛应用的原因是命令行界面要较图形用户界面节约更多的计算机系统资源,利于客户进行二次开发，方便应用程序的整合。 2.简单使用...

Posted by LSG on October 15, 2019

常见的调度任务,框架

调度任务,定时任务框架!

ᵃ ʷⁱˢᵉ ᵐᵃⁿ ⁿᵉᵛᵉʳ ᶠᵃˡˡ ⁱⁿ ˡᵒᵛᵉ 前言本文主要介绍: Cron 表达式 java中调度框架的实现何使用 ooize调度框架的使用 “编程中常使用的调度任务” 定时任务 -> 调度框架 1. cron表达式 1.1 Cron表达式的7个部分 (* * * * * * *)从左到右代表的含义如下: Seconds Minute...

Posted by LSG on September 30, 2019

数据仓库hive的使用总结

信息、载体、抽象、线程设计乱谈

hive的常见用法 1.1模型数据仓库采用的建模方法主流的有维度建模、范式建模。主要介绍维度建模 1.1 星形模型所谓星形模型是指以事实表为中心，关联各个维度表，以获取我们所需要的数据结果。如下图，在事实表中有各个明细的数据，通过其周围不同的维度来构建上层的数据结果。在该情况下，维表中会有部分的冗余数据。 1.2 雪花模型雪花模型是在星形模型的基础上，将维度表...

Posted by LSG on September 30, 2019

HOW TO USE OOIZE

大数据调度框架 ooize 的基本使用以及图解

Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。一. 安装和配置配置邮件: 二 .使用和常用命令 2.1 验证正确性验证wokflow.xml : oozie validate /appcom/apps/hduser0401/mbl_webtrends/workf...

Posted by LSG on August 25, 2019

如何正确的使用java线程池

信息、载体、抽象、线程设计乱谈

1.为什么使用线程池: 复用已有资源控制资源总量 2.java自带的四种线程池工厂 2.1 Java通过Executors提供四种线程池，分别为： newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。 newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出...

Posted by LSG on August 21, 2019

java web 开发中的多线程

常见java web开发是如何使用多线程和解决数据冲入问题的

在传统的web开发中: java如何配合Mysql做到多线程+高并发下的数据不重入前言 “常见的javaEE中,例如SSM架构或者SpringBoot项目中我们对多线程和数据重入的感知是很小的,本篇文章将对多线程中的线程之间的协程合作(锁或通信),锁到达了什么粒度,避免数据重入的方式,怎样正确的使用框架解决问题进行阐述” 1. mysql+tomcat多线程(事务模型)解决了...

Posted by LSG on August 1, 2019

activemq同步发送和异步发送

使用amq来消费日志并过滤并发送邮件,每日数据大概8000万

前言具体场景是工作中机器上所有项目服务日志并不落地自己所在机器,而是发送到一台机器的amq上,通过重写log4j源代码,重新解析log4j.propertites文件把所有项目日志分目录,层次的打到各个文件目录下,并把异常日志通过项目配置人的方式发送到每个人的邮件和企业微信上. “ActiveMQ -> 生产者和消费者保证消息可靠性的常见使用” 使用消息队列的优缺点分析 ...

Posted by LSG on July 7, 2019

使用sqoop进行数据迁移,备份

从数据库到数据仓库,从数据全量增量到数据增量

前言这里这介绍sqoop1,x版本,如果是高版本可以自己查阅学习,但基本操作和功能不会变化太多安装添加mysql的驱动 ambari中的jar包位置 : /usr/hdp/current/sqoop-client/lib 添加到lib中: cp mysql-connector-java-5.1.47 /usr/hdp/current/sqoop-client/lib 验证是否安装...

Posted by LSG on June 24, 2019

ABOUT ME

DingYun's Blog

spark调优总结

信息、载体、抽象、线程设计乱谈

Linux 常用监控命令

信息、载体、抽象、UI 设计乱谈

Apache Commons CLI 使用说明

信息、载体、抽象、线程设计乱谈

常见的调度任务,框架

调度任务,定时任务框架!

数据仓库hive的使用总结

信息、载体、抽象、线程设计乱谈

HOW TO USE OOIZE

大数据调度框架 ooize 的基本使用以及图解

如何正确的使用java线程池

信息、载体、抽象、线程设计乱谈

java web 开发中的多线程

常见java web开发是如何使用多线程和解决数据冲入问题的

activemq同步发送和异步发送

使用amq来消费日志并过滤并发送邮件,每日数据大概8000万

使用sqoop进行数据迁移,备份

从数据库到数据仓库,从数据全量增量到数据增量

FEATURED TAGS

FRIENDS

spark调优总结

信息、载体、抽象、线程 设计乱谈

Linux 常用监控命令

信息、载体、抽象、UI 设计乱谈

Apache Commons CLI 使用说明

信息、载体、抽象、线程 设计乱谈

常见的调度任务,框架

调度任务,定时任务框架!

数据仓库hive的使用总结

信息、载体、抽象、线程 设计乱谈

HOW TO USE OOIZE

大数据调度框架 ooize 的基本使用以及图解

如何正确的使用java线程池

信息、载体、抽象、线程 设计乱谈

java web 开发中的多线程

常见java web开发是如何使用多线程和解决数据冲入问题的

activemq同步发送和异步发送

使用amq来消费日志并过滤并发送邮件,每日数据大概8000万

使用sqoop进行数据迁移,备份

从数据库到数据仓库,从数据全量增量到数据增量

FEATURED TAGS

ABOUT ME

FRIENDS

信息、载体、抽象、线程设计乱谈

信息、载体、抽象、线程设计乱谈

信息、载体、抽象、线程设计乱谈

信息、载体、抽象、线程设计乱谈