`
文章列表
1,要用easyui-combobox获取选项并且展示,出现一个问题,每次重新读取选中的单位(从上级页面传来,以逗号分割的单位编码串)都只能显示第一个选项的value值。找了好久原因,发现测试能否获取值的时候写了一段这样的代码 $('#depart').combobox({ onChange: function() { var value = $('#depart').combobox('getValues'); alert(value); } });   初始化了下拉选项,把读取到的值覆盖了。猜想是$('#'+strId).combobox('setValues',val) ...

Mac安装mysql最简单

    博客分类:
  • Mac
首先安装brew   再用brew安装mysql brew install mysql     启动 mysql.server start mysql.server stop mysql.server restart   localhost:~ lasia$ mysql.server start Starting MySQL    SUCCESS!    一篇更详细的安装文档  
1,application.properties 系统文件 (这部分来自:http://www.cnblogs.com/xiaoqi/p/6955288.html)最后选择将配置文件放到config下,在程序里跑时,配置放在resources下就行 Spring Boot配置文件放在jar外部 Spring Boot程序默认从application.properties或者application.yaml读取配置,如何将配置信息外置,方便配置呢? 查询官网,可以得到下面的几种方案: 通过命令行指定 SpringApplication会默认将命令行选项参数转换为配置信息 例如,启 ...
总结一下目前手头的项目~发现不少知识点的盲区,如下。做个小笔记方便以后复用。   blob,base64互转 最开始编码解码用的是原生base64,encode因为直接从数据库拿到的blob传进入,不允许强转,遂用流重写之; 而decode存入数据库图片打开有问题,就也换了。查了好久没查到导致的原因,总之它可以工作了。 return Base64.decodeBase64(base64Str); return Base64.encodeBase64String(bytes); /** * blob转base64 * @param blob * @return ...

UDAF编写

    博客分类:
  • hive
创建存储对象的类 创建对象 UDAF需要调用到的方法:    init    HIVE会调用此方法来初始实例化一个UDAF evaluator类        iterate    将一行新的数据载入到聚合buffer中(对数据进行初始化处理)       terminatePartial
最近接手一个活,用springboot整合mybatis获取一批数据,上传到elastic search建索引。小小研究了一下,操作不多,没有很难。 很好的教程 http://www.sojson.com/blog/81.html 例 https://yq.aliyun.com/articles/70054   遇到比较典型的错: 错1 https://stackoverflow.com/questions/8367312/serializing-with-jackson-json-getting-no-serializer-found No serializer foun ...
1,找资料时,问题点要有针对性。比如要查找maven的<fork>,<build>,<plugins>参数的作用是什么。就应该单独分开找,而不是去搜索maven的各个参数有什么作用,这样每个参数看下来,可能都忘记最初要查什么了··   2,遇到问题,不要慌。抛出什么没见过的异常,有什么没接触过的新任务,最好重头捋一下整个程序的思路,画画流程图什么的。表叽歪,表死磕,因为导致这个问题的原因,不仅仅只有一种,而是一类错误都会导致这个问题。比如说,用JdbcTemplate插入日期数据转换出现问题,就不应该闷头查日期怎么转换;String转日期设置格式;ja ...
这次项目是要通过页面传sql语句,出于担心页面传来的sql无法配置到mapping.xml文件中,就先用了jdbcTemplate。现在工具都封装的很好了,用起来也很简单。   @Autowired private JdbcTemplate jdbcTemplate;   LobHandler lobHandler = new DefaultLobHandler(); // reusable object   jdbcTemplate.execute("insert into soo_resource(uuid, name, sql, createtime, ...

spark 日常

1、向spark集群上传大批数据,出现这样的错 GC overhead limit exceeded 和Java heap space 修改好多配置文件,最后发现是m1机的内存不够,最后要合并数据m1上的jdk负担不了,所以报错。之后换s1成功·   2、group by 后面不用where 用having,我好像搞错了spark sql 的where和groupby方法的意思,那些好像是操作RDD的 所以之前的spark sql总报错。   3、Scala这个语言好像是有点傻的=。= 之前没有写else····报错 def gender(SFZH:String):Strin ...

Python日常

1、 同一个流好像还不能读俩遍,必须关了重来   2、 源数据后面有(\r\n)于是我之前写的strip('\r').strip('\n') 然并卵!造吗 number=line.split('\t') .strip('\n').strip('\r')才能去掉后面的\r 读取时报错x44x23keyfailed(错误大意,并没有记录准确)   3、 try:passprintdict[line[0].strip('\n').strip('\r')]exceptException:printline[0].strip()  

Linux日常

scp assdf.jar user@host:/directory 1、CMD 而通过使用cmd命令,在非常短的时间内得到行数。样例命令:find /V "" /C test.txt   2、linux如何快速删除文件的第一行   3、 系统资源占用:top、free、uptime   4、 isof -i :1000

UDTF编写

    博客分类:
  • hive
UDTF用来解决 输入一行输出多行(On-to-many maping) 的需求。   继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。 UDTF首先会调用initialize方法,此方法返回UDTF的返回行的信息(返回个数,类型)。 初始化完成后,会调用process方法,真正的处理过程在process函数中,在process中,每一次forward()调用产生一行;如果产生多列可以将多个列的值放在一个数组中,然后将该数组传入到forward()函数。 最后 ...
    我们在使用streaming模式的mapreduce开发程序的时候,经常会发现输出结果中被莫名其妙的添加了分割符,比如在一行的中间或者结尾多了 一个Tab符号。尤其是输出只有一个字段的时候,末尾一定会被添加一个Tab符,看着十分恶心,而且有可能影响程序的正确性,所以我们一定要除掉它。       首先来看看他是怎么产生的。因为streaming版本的mapreduce,会将程序的输出按照key/velue的形式组织,而且key/value之间需要有一个分隔符,方便程序区分。这个分割符,默认的就是Tab。我们可以通过-jobconf stream.map.output.f ...

hadoop日常

1、   【Flume】flume输出sink到hbase的实现 http://www.bubuko.com/infodetail-653767.html#0-tsina-1-76562-397232819ff9a47a7b7e80a40613cfe1   2、 血的教训!测试flume一定要先看第一行错误!它是以栈的方式输出报错信息的···   3、

hbase hdfs sink

bin/flume-ng agent --conf conf --conf-file conf/hbase.conf --name a1 -Dflume.root.logger=INFO,console     # example.conf: A single-node Flume configuration   # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1   # Describe/configure the source a1.sources.r1. ...
Global site tag (gtag.js) - Google Analytics