人脸识别的十个概念

Posted on 2018-10-09(星期二) 10:46 in Data • Tagged with 大数据, 机器学习, 人脸识别

人脸识别的十个常用概念


Continue reading

聚类算法总结

Posted on 2018-09-09(星期日) 16:46 in Data • Tagged with 大数据, 机器学习, 人脸识别

聚类算法总结


Continue reading

彩色字体生成小记

Posted on 2018-04-18(星期三) 19:15 in Data • Tagged with 大数据, 深度学习, 字体

之前研究过字体文件(主要是ttf)的脚本化生成流程,一般字体脚本化生成流程可参考 【字体生成小记】。最近在手机市场上出现了几种彩色字体,下载量都超级高(但外强中干),所以研究花了三天时间研究了下彩色字体。 刚开始想当然的以为将svg矢量字体文件加上渐变颜色就搞定了,最后在打包ttf文件的过程中发现,加的颜色完全被忽略掉了。这时候意识到,这两种字体结构可能不一样,于是爬下来几种彩色字体


Continue reading

Fluentd配置文件语法

Posted on 2018-02-08(星期四) 14:45 in Data • Tagged with 大数据, Fluentd

fluentd.conf主要用于配置fluentd采集日志数据、处理数据、发送数据的整个生命周期规则:\n


Continue reading

kubernetes(1.8.3)系列之搭建EFK(Fluentd+Elasticsearch+Kibana)

Posted on 2018-02-07(星期三) 15:54 in Data • Tagged with 大数据, 容器编排, efk, Fluentd, kubernetes, kibana

docker会将stdout和stderr输出本机的一个目录下,一般是/var/lib/docker/contianers(也可能是/opt/docker/containers/,根据安装方式不同而不同), kubernetes 默认会将容器的stdout和stderr录入node(minion)的/var/log/containers目录下(最后还是链接到docker的日志路径下),而kubernetes 组件的日志默认放置在/var/log目录下。


Continue reading

kubernetes(1.8.3)系列之安装

Posted on 2018-01-23(星期二) 20:06 in Data • Tagged with 大数据, 机器学习, 决策树

此次部署kubernetes1.8.3版本使用两台机器进行操作,一台做为Master节点,一台作为Node节点。部署流程及配置与正式环境下是一致的。


Continue reading

字体生成小记

Posted on 2017-09-29(星期五) 14:22 in Data • Tagged with 大数据, 深度学习, 字体

这个星期我们小组一直在研究根据一部分手写字体,来生成和其风格相符的其他字体,主要工作还是网络的搭建和训练,这不是本文的重点,我们接下来要说的是预测完新字后,如何将这些字的图片,生成字体文件,以供安装使用。


Continue reading

搭建深度学习环境详细过程(Centos7.3+GTX-1080Ti显卡)

Posted on 2017-09-22(星期五) 16:25 in Data • Tagged with 大数据, 深度学习, keras,NVIDIA

在一个由N多台普通的不能再普通的机器攒凑起来的机箱中,搭载了最强核心——NVIDIA GeForce GTX 1080 Ti。我们的深度学习环境搭建之旅,将从如何攒凑这款独一无二的机箱开始,一点一点完成从简单电脑维修装配到逼格爆棚的Deep Learning的华丽丽转身。


Continue reading

keras资源设置

Posted on 2017-09-13(星期三) 14:00 in Data • Tagged with 大数据, 深度学习, keras

keras资源设置


Continue reading

卷积神经网络(CNN)

Posted on 2017-09-13(星期三) 13:59 in Data • Tagged with 大数据, 深度学习, 卷积, CNN

卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于,避免了对图像复杂的前期预处理过程(提取人工特征等),可以直接输入原始图像。


Continue reading

python常用功能总结

Posted on 2017-09-06(星期三) 10:09 in Data • Tagged with 大数据, python

python常用功能总结


Continue reading

人脸识别——对齐算法

Posted on 2017-09-05(星期二) 22:24 in Data • Tagged with 大数据, 机器学习, 人脸识别, 人脸对齐

使用facenet框架,可以识别出一张图片中的人脸头像,并返回每张人脸的边界和五官坐标,但图片中有的头像是有倾斜角度的,我们将倾斜度数小于指定阈值的进行校正,其余的按原形截取图片。


Continue reading

pandas基本操作

Posted on 2017-08-08(星期二) 17:17 in Data • Tagged with 大数据, 机器学习, pandas

在pandas中有两类非常重要的数据结构,即序列Series和数据框DataFrame。Series类似于numpy中的一维数组,除了通吃一维数组可用的函数或方法,而且其可通过索引标签的方式获取数据,还具有索引的自动对齐功能;DataFrame类似于numpy中的二维数组,同样可以通用numpy数组的函数和方法,而且还具有其他灵活应用,后续会介绍到。


Continue reading

决策树原理

Posted on 2017-07-28(星期五) 14:03 in Data • Tagged with 大数据, 机器学习, 决策树

决策树就是做出一个树状决策,就像猜猜看(Twenty Questions)的游戏。一个玩家(先知)选择一种常见物品, 但是事先不能透露给其他玩家(提问者)。提问者最多问20个问题,而先知只能回答: 是, 否, 可能三种答案。提问者的提问会根据先知的回答越来越具体, 多个问题问完后, 提问者的决策就形成了一颗决策树。决策树的分支由可以猜出响应变量值的最短的解释变量序列构成。因此, 在猜猜看游戏中,提问者和先知对训练集的解释变量和响应变量都很了解, 但是只有先知知道测试集的响应变量值。


Continue reading

数据处理中的数值初步转换

Posted on 2017-07-26(星期三) 16:04 in Data • Tagged with 大数据, 机器学习

我们使用scikit learn进行建模预测, 而SK中的模型都只能处理数值型的数据,需要将原始的字符串类型的数据转为数值型数据。所有数据通常可以分成两种类型:定量定性。定量的属性(数值属性)通常蕴涵着可排序性,比如在泰坦尼克号数据集中,年龄就是一个定量属性。定性属性(标称 序数 二元属性)的值是一些符号或事务的名称,每个值代表某种类别编码或状态,不是可测量量,是不具有排序意义的,比如Embarked(登船地点)。


Continue reading