xiangjinqi
- 浏览: 168903 次
- 性别:
- 来自: 武汉
-
最新评论
文章列表
three.js内部拖拽例子全详解
- 博客分类：
- html5
<!DOCTYPE html>
<html>
<head>
<title>three.js webgl - draggable cubes</title>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, user-scalable=no, minimum-scale=1.0, maxim ...
<!DOCTYPE html>
<html>
<head>
<meta charset=
如何动态改变Highcharts图表的大小
设置chart的margin属性，代码如下所示；view sourceprint?$(function () {$('#container').highcharts({chart: {type: 'line',margin: [0, 0, 0, 0] //距离上下左右的距离值
这篇文章解释了如何使用代码来编写一座3D立体“城市”。这个代码是由@ mrdoob最新发布的演示Demo。我发现这个演示的算法很优雅，是一个简单而有效的解决方案，所以我发了一个帖子解释它。
关于算法的一些评论
在我们将关注焦点置于问题的细节之前，把握下问题的整体和全局是很有帮助的。这个3D虚拟城市所使用的算法是完全由程序所生成的，这意味着整个城市 是动态建立，而不参考任何模板。这个算法相当优雅，且不超过100行javascript代码。这个算法的原理是怎么样的呢？简而言之，每一个建筑是一个 立方体，他们得到随机的大小和位置。足够简单吗？听起来好像不切实际，但事实就是这样的，当你从城市底部往 ...
word2vec是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。
一、理论概述
（主要来源于http://licstar.net/archives/328这篇博客）
1.词向量是什么
自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号数学化。
NLP 中最直观，也是到目前为止最常用的词表示方法是 One-hot Representation，这种方法把每个词表示为一个很长的向量。这个向量的维度是词表大小，其中绝大多数元素为 0，只有一个维度的值为 1，这个维度就代表了 ...
机器学习----逻辑回归
- 博客分类：
- java算法
这节学习的是逻辑回归（Logistic Regression），也算进入了比较正统的机器学习算法。啥叫正统呢？我概念里面机器学习算法一般是这样一个步骤：
1）对于一个问题，我们用数学语言来描述它，然后建立一个模型，例如回归模型 ...
本章介绍的是简单的多维权重算法以广告为例，
广告有很多属性，
譬如：title,region,category,cityid,geo,tag,评论，星级等等
这些属性分别会给一个权重打分，譬如
Y = x1*z1+x2*z2+ ........ + xn*zn;
其中x1为
算法程序-通过log重现计算过程
- 博客分类：
- java算法
核心算法类
public class ShopScorer extends BaseScorer {
private static final Logger logger = Logger.getLogger(ShopScorer.class);
private ShopProxy shopProxy;
@Override
public String getAlgoType(){
return "rule-shop";
}
@Override
public Stri ...
机器学习算法模型（一）
- 博客分类：
- java算法
之前介绍了通用的经验型权重配置算法，但是仍然无法对200多个类目做到很细致的权重配置，人的精力无法对每个类目做分析，设定一个合适的经验权重值。
那么由此产生了一个问题：可不可以为这种场景适配一个机器学习的算法，为所有叶子目录做一个权重配置，前提是要根据正确和错误的数据充分的训练样本数据，有了之前人工算法 的数据，多多少少沉淀了大量的正确数据和错误数据。各个因子占权重可以由机器学习算法来产生一个适配每一个类目的数据，数据胜于经验。因子的选取能选取更多的维度。
-----未完待续
一般的web新工程确定为提供接口而存在。
那么会涉及到三个工程模块。
API JAR
SERVICE IMPLEMTS JAR
SERVICE WEB
这三个工程很好的实现了SERVICE代码的分离。
其中API就是一些简单的接口类和对象类
SERVICE JAR是查询数据库，逻辑的实现等代码，基本上所有的逻辑代码都在这里
SERVICE WEB里面无代码，就是一些配置。SPRING 加载等等
首先创建一个Topology主类，
然后spout是从kafka就收的数据流 KafkaSpout，
第一个bolt会从前面的spout接收数据，做一些初步的处理，传输给下一个bolt
不适应重量级的计算。
j实时UI无法准确的查看数据的执行情况，准确的性能调优存在一定困难。
所以在这里创建了一个抽象类继承BaseBasicBolt ，然后其他的bolt会继承创建的这个抽象类。
可以在bolt执行前和执行后记录时间。
并记录每个数据的执行流程和各个环节bolt的执行状态和耗时。
import java.util.ArrayList;
import java.util.Lis ...
常出现的可能是版本问题，
我hbase使用的是0.96.x hive使用0.13.1版本
如果版本不对会报错。
将hbase lib下的相关包全部移至hive的lib里面，
如下包：
guava-12.0.1.jar
hbase-client-0.96.1.1-cdh5.0.2.jar
hbase-common-0.96.1.1-cdh5.0.2.jar
hbase-common-0.96.1.1-cdh5.0.2-tests.jar
hbase-protocol-0.96.1.1-cdh5.0.2.jar
hbase-server-0.96.1.1-cdh5.0.2.ja ...
数据平台之sqoop实践
- 博客分类：
- hadoop
sqoop目前用的比较多的是数据仓库的建立，在很多数情况下，同步一个表，需要些sqoop脚本，来同步表，有的时候执行成功与否，数据量多少，数据源表是否更新，都不清楚，而且脚本文件不便于管理。
本次介绍的数据平台具有专业的管理功能。
下面是表的设计
DROP TABLE IF EXISTS task_info; CREATE TABLE task_info(task_id INT,database_id INT,db_table VARCHAR(100), hive_table VARCHAR(100), db_columns VARCHAR(5000), where_express VA ...
hbase coprocessor 应用实践
- 博客分类：
- hadoop
应用场景，在很多情况下我们只希望复杂的逻辑来过滤数据，得到的数据可能只有1M，但是数据源可能会达到1T，譬如需要知道对iphone比较感兴趣的用户有哪些。
需要过滤里面的字段品牌和相应的权重，
如果全部将数据读入mapreduce意味着较多的IO开销。
下面附上本人的代码
JobTask jobTask = new JobTask(null, new Path("/user/pms/xq/full_user_profile1/" + i))
.setInputFormat(TableInputFormat.class)
.setMapper(Brand ...
例一：
public class MergePcProfileMapper extends Mapper<LongWritable, Text, Text, Text> {
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
if (value.toString().indexOf(DeviceConstant.TAB) > 0) {
String[] splits = value. ...