彩色字体生成小记

Posted on 2018-04-18(星期三) 19:15 in Data • Tagged with 大数据, 深度学习, 字体

之前研究过字体文件(主要是ttf)的脚本化生成流程,一般字体脚本化生成流程可参考 【字体生成小记】。最近在手机市场上出现了几种彩色字体,下载量都超级高(但外强中干),所以研究花了三天时间研究了下彩色字体。 刚开始想当然的以为将svg矢量字体文件加上渐变颜色就搞定了,最后在打包ttf文件的过程中发现,加的颜色完全被忽略掉了。这时候意识到,这两种字体结构可能不一样,于是爬下来几种彩色字体


Continue reading

制作ssh互信的docker镜像

Posted on 2018-01-04(星期四) 18:09 in Data • Tagged with 深度学习, ssh, docker

基于nvidia/cuda的镜像(nvidia/cuda:8.0-cudnn6-runtime-centos7)生成了一个的tensorflow-gpu 1.4.1编译版本的镜像,通过kubernetes(1.8.3)容器编排工具进行容器间的管理。现有六个节点,一台部署kubernetes,无GPU,还有一个节点有4块GPU,余下四个节点均有一块GPU,所有的GPU均为NVIDIA Gefore 1080Ti。为提高工作工程中试错效率,需要将GPU集群资源合理的利用起来,也即需要自动调度和并发使用GPU。经研究,opmpi + nccl(nvidia的)可以实现,但mpi需要集群间的各容器是互信的,但实际运行的环境中所有容器均来源于同一镜像,所以目的就是达到能免密登陆自己就可以了(其实免密登陆本机和登陆别的机器操作基本一样)。


Continue reading

kubernetes(1.8.3)系列之calico集成

Posted on 2018-01-04(星期四) 14:50 in Data • Tagged with 深度学习, calico, docker, kubernetes

目前工作试错环境为 k8s(1.8.3)管理下的 tensorflow-1.4.1-compile-py36 docker镜像深度学习集群,说是集群,但平时的工作任务依然是依靠单台跑脚本运行的,GPU的利用率比较低,经过研究,最后决定通过 openmpi-2.1.2 + nccl2 + nccl_2.1.2-1+cuda8.0_x86_64 的技术方案实现GPU的并行计算。但将环境部署到K8S集群时碰到一个问题——在同一个节点中启动的pod可以成功执行,但不同节点间的pods无法成功执行,报错如下:


Continue reading

Kubernetes(1.8.3)系列之GPU配置

Posted on 2017-12-20(星期三) 10:15 in Data • Tagged with 深度学习, docker, kubernetes


Continue reading

tensorflow-gpu-docker镜像安装及部署文档

Posted on 2017-12-15(星期五) 18:01 in Data • Tagged with 深度学习, docker, tensorflow, kubernetes

制作包含有nvidia cuda、cudnn环境的tensorflow-gpu镜像包,并通过portainer手动单点配置及kubernetes集群管理两种方式进行部署。


Continue reading

python2.7安装matplotlib失败解决方法

Posted on 2017-11-10(星期五) 15:27 in Data • Tagged with 深度学习, matplotlib

python2.7安装matplotlib失败解决方法


Continue reading

字体生成小记

Posted on 2017-09-29(星期五) 14:22 in Data • Tagged with 大数据, 深度学习, 字体

这个星期我们小组一直在研究根据一部分手写字体,来生成和其风格相符的其他字体,主要工作还是网络的搭建和训练,这不是本文的重点,我们接下来要说的是预测完新字后,如何将这些字的图片,生成字体文件,以供安装使用。


Continue reading

搭建深度学习环境详细过程(Centos7.3+GTX-1080Ti显卡)

Posted on 2017-09-22(星期五) 16:25 in Data • Tagged with 大数据, 深度学习, keras,NVIDIA

在一个由N多台普通的不能再普通的机器攒凑起来的机箱中,搭载了最强核心——NVIDIA GeForce GTX 1080 Ti。我们的深度学习环境搭建之旅,将从如何攒凑这款独一无二的机箱开始,一点一点完成从简单电脑维修装配到逼格爆棚的Deep Learning的华丽丽转身。


Continue reading

keras资源设置

Posted on 2017-09-13(星期三) 14:00 in Data • Tagged with 大数据, 深度学习, keras

keras资源设置


Continue reading

卷积神经网络(CNN)

Posted on 2017-09-13(星期三) 13:59 in Data • Tagged with 大数据, 深度学习, 卷积, CNN

卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一,在图像处理领域取得了很大的成功,在国际标准的ImageNet数据集上,许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于,避免了对图像复杂的前期预处理过程(提取人工特征等),可以直接输入原始图像。


Continue reading