字体生成小记

Posted on 2017-09-29(星期五) 14:22 in Data • Tagged with 大数据, 深度学习, 字体

这个星期我们小组一直在研究根据一部分手写字体,来生成和其风格相符的其他字体,主要工作还是网络的搭建和训练,这不是本文的重点,我们接下来要说的是预测完新字后,如何将这些字的图片,生成字体文件,以供安装使用。


Continue reading

搭建深度学习环境详细过程(Centos7.3+GTX-1080Ti显卡)

Posted on 2017-09-22(星期五) 16:25 in Data • Tagged with 大数据, 深度学习, keras,NVIDIA

在一个由N多台普通的不能再普通的机器攒凑起来的机箱中,搭载了最强核心——NVIDIA GeForce GTX 1080 Ti。我们的深度学习环境搭建之旅,将从如何攒凑这款独一无二的机箱开始,一点一点完成从简单电脑维修装配到逼格爆棚的Deep Learning的华丽丽转身。


Continue reading

keras资源设置

Posted on 2017-09-13(星期三) 14:00 in Data • Tagged with 大数据, 深度学习, keras

keras资源设置


Continue reading

卷积神经网络(CNN)

Posted on 2017-09-13(星期三) 13:59 in Data • Tagged with 大数据, 深度学习, 卷积, CNN

卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于,避免了对图像复杂的前期预处理过程(提取人工特征等),可以直接输入原始图像。


Continue reading

python常用功能总结

Posted on 2017-09-06(星期三) 10:09 in Data • Tagged with 大数据, python

python常用功能总结


Continue reading

人脸识别——对齐算法

Posted on 2017-09-05(星期二) 22:24 in Data • Tagged with 大数据, 机器学习, 人脸识别, 人脸对齐

使用facenet框架,可以识别出一张图片中的人脸头像,并返回每张人脸的边界和五官坐标,但图片中有的头像是有倾斜角度的,我们将倾斜度数小于指定阈值的进行校正,其余的按原形截取图片。


Continue reading

peewee 入门教程

Posted on 2017-08-31(星期四) 20:04 in Data • Tagged with python, ORM

peewee是一款轻量级、丰富的ORM(Object Relation Mapping,对象关系映射),支持 postgresqlmysqlsqlite


Continue reading

个人博客搭建过程(Pelican+Github)

Posted on 2017-08-12(星期六) 18:44 in data • Tagged with Pelican, python, 博客搭建

当初整vps完全只是为了科学上网,但感觉一个服务器只运行一个vps服务有点太浪费了,为了让其发挥最大价值,于是就想在上面搭个博客,搞个备份,SVN啥的。所以就先尝试的搭个个人博客系统。一直都想拥有一个只属于自己的博客系统,记录一下生活工作的点点滴滴。尝试过网易、csdh等平台的博客,虽然方便点,但一直没能坚持下来,总觉得不是自己的地盘,一成不变的界面不是我想要的;也尝试过著名的PHP博客系统wordpress,但其对markdown语法支持不太好,再一个比较重要的原因就是我买的vps是最小版的,只有512M内存,养不起这只大猫。。。。。。


Continue reading

pandas基本操作

Posted on 2017-08-08(星期二) 17:17 in Data • Tagged with 大数据, 机器学习, pandas

在pandas中有两类非常重要的数据结构,即序列Series和数据框DataFrame。Series类似于numpy中的一维数组,除了通吃一维数组可用的函数或方法,而且其可通过索引标签的方式获取数据,还具有索引的自动对齐功能;DataFrame类似于numpy中的二维数组,同样可以通用numpy数组的函数和方法,而且还具有其他灵活应用,后续会介绍到。


Continue reading

决策树原理

Posted on 2017-07-28(星期五) 14:03 in Data • Tagged with 大数据, 机器学习, 决策树

决策树就是做出一个树状决策,就像猜猜看(Twenty Questions)的游戏。一个玩家(先知)选择一种常见物品, 但是事先不能透露给其他玩家(提问者)。提问者最多问20个问题,而先知只能回答: 是, 否, 可能三种答案。提问者的提问会根据先知的回答越来越具体, 多个问题问完后, 提问者的决策就形成了一颗决策树。决策树的分支由可以猜出响应变量值的最短的解释变量序列构成。因此, 在猜猜看游戏中,提问者和先知对训练集的解释变量和响应变量都很了解, 但是只有先知知道测试集的响应变量值。


Continue reading

数据处理中的数值初步转换

Posted on 2017-07-26(星期三) 16:04 in Data • Tagged with 大数据, 机器学习

我们使用scikit learn进行建模预测, 而SK中的模型都只能处理数值型的数据,需要将原始的字符串类型的数据转为数值型数据。所有数据通常可以分成两种类型:定量定性。定量的属性(数值属性)通常蕴涵着可排序性,比如在泰坦尼克号数据集中,年龄就是一个定量属性。定性属性(标称 序数 二元属性)的值是一些符号或事务的名称,每个值代表某种类别编码或状态,不是可测量量,是不具有排序意义的,比如Embarked(登船地点)。


Continue reading

Python科学计算核心工具包一览

Posted on 2017-07-25(星期二) 13:57 in Data • Tagged with 大数据, python, 机器学习

python用于科学计算已经相当成熟,现在主要用的库如下所列,详细请参看官方网址。


Continue reading

CDH升级(5.11.0 -> 5.12.0)

Posted on 2017-07-24(星期一) 21:46 in Data • Tagged with 大数据, CDH, bigdata

CDH升级(5.11.0 -> 5.12.0), 大版本升级,CM和CDH详细更新过程。 版本升级更新特性参考: https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_512.html#cdh_rn_new_in_cdh_512


Continue reading