人脸识别的十个概念

Posted on 2018-10-09(星期二) 10:46 in Data • Tagged with 大数据, 机器学习, 人脸识别

人脸识别的十个常用概念


Continue reading

聚类算法总结

Posted on 2018-09-09(星期日) 16:46 in Data • Tagged with 大数据, 机器学习, 人脸识别

聚类算法总结


Continue reading

python性能调试工具line_profiler

Posted on 2018-08-09(星期四) 14:46 in Data • Tagged with python, line_profiler

python性能调试过程中最突出的问题就是耗时,性能测试工具有很多,像profiler,cprofiler等等,都是只能返回函数整体的耗时,而line_profiler就能够很好解决这个问题。


Continue reading

linux主机之间快速高效的拷贝大数据文件

Posted on 2018-06-06(星期三) 11:46 in Data • Tagged with linux

linux主机之间快速高效的拷贝大数据文件


Continue reading

彩色字体生成小记

Posted on 2018-04-18(星期三) 19:15 in Data • Tagged with 大数据, 深度学习, 字体

之前研究过字体文件(主要是ttf)的脚本化生成流程,一般字体脚本化生成流程可参考 【字体生成小记】。最近在手机市场上出现了几种彩色字体,下载量都超级高(但外强中干),所以研究花了三天时间研究了下彩色字体。 刚开始想当然的以为将svg矢量字体文件加上渐变颜色就搞定了,最后在打包ttf文件的过程中发现,加的颜色完全被忽略掉了。这时候意识到,这两种字体结构可能不一样,于是爬下来几种彩色字体


Continue reading

Fluentd配置文件语法

Posted on 2018-02-08(星期四) 14:45 in Data • Tagged with 大数据, Fluentd

fluentd.conf主要用于配置fluentd采集日志数据、处理数据、发送数据的整个生命周期规则:\n


Continue reading

kubernetes(1.8.3)系列之搭建EFK(Fluentd+Elasticsearch+Kibana)

Posted on 2018-02-07(星期三) 15:54 in Data • Tagged with 大数据, 容器编排, efk, Fluentd, kubernetes, kibana

docker会将stdout和stderr输出本机的一个目录下,一般是/var/lib/docker/contianers(也可能是/opt/docker/containers/,根据安装方式不同而不同), kubernetes 默认会将容器的stdout和stderr录入node(minion)的/var/log/containers目录下(最后还是链接到docker的日志路径下),而kubernetes 组件的日志默认放置在/var/log目录下。


Continue reading

kubernetes(1.8.3)系列之安装

Posted on 2018-01-23(星期二) 20:06 in Data • Tagged with 大数据, 机器学习, 决策树

此次部署kubernetes1.8.3版本使用两台机器进行操作,一台做为Master节点,一台作为Node节点。部署流程及配置与正式环境下是一致的。


Continue reading

制作ssh互信的docker镜像

Posted on 2018-01-04(星期四) 18:09 in Data • Tagged with 深度学习, ssh, docker

基于nvidia/cuda的镜像(nvidia/cuda:8.0-cudnn6-runtime-centos7)生成了一个的tensorflow-gpu 1.4.1编译版本的镜像,通过kubernetes(1.8.3)容器编排工具进行容器间的管理。现有六个节点,一台部署kubernetes,无GPU,还有一个节点有4块GPU,余下四个节点均有一块GPU,所有的GPU均为NVIDIA Gefore 1080Ti。为提高工作工程中试错效率,需要将GPU集群资源合理的利用起来,也即需要自动调度和并发使用GPU。经研究,opmpi + nccl(nvidia的)可以实现,但mpi需要集群间的各容器是互信的,但实际运行的环境中所有容器均来源于同一镜像,所以目的就是达到能免密登陆自己就可以了(其实免密登陆本机和登陆别的机器操作基本一样)。


Continue reading

kubernetes(1.8.3)系列之calico集成

Posted on 2018-01-04(星期四) 14:50 in Data • Tagged with 深度学习, calico, docker, kubernetes

目前工作试错环境为 k8s(1.8.3)管理下的 tensorflow-1.4.1-compile-py36 docker镜像深度学习集群,说是集群,但平时的工作任务依然是依靠单台跑脚本运行的,GPU的利用率比较低,经过研究,最后决定通过 openmpi-2.1.2 + nccl2 + nccl_2.1.2-1+cuda8.0_x86_64 的技术方案实现GPU的并行计算。但将环境部署到K8S集群时碰到一个问题——在同一个节点中启动的pod可以成功执行,但不同节点间的pods无法成功执行,报错如下:


Continue reading

Kubernetes(1.8.3)系列之GPU配置

Posted on 2017-12-20(星期三) 10:15 in Data • Tagged with 深度学习, docker, kubernetes


Continue reading

tensorflow-gpu-docker镜像安装及部署文档

Posted on 2017-12-15(星期五) 18:01 in Data • Tagged with 深度学习, docker, tensorflow, kubernetes

制作包含有nvidia cuda、cudnn环境的tensorflow-gpu镜像包,并通过portainer手动单点配置及kubernetes集群管理两种方式进行部署。


Continue reading

始入Docker

Posted on 2017-12-09(星期六) 21:18 in data • Tagged with docker

容器技术已经发展的很成熟了,只不过因为工作需要才接触。纵观大趋势,系统应用部署能节约大量的人力物力和时间等企业重要成本,所以,掌握好容器技术,以及相关的集群集成管理工具的领头羊——Kubernetes,将成为丰富人生技术栈中重要的一环。


Continue reading

python2.7安装matplotlib失败解决方法

Posted on 2017-11-10(星期五) 15:27 in Data • Tagged with 深度学习, matplotlib

python2.7安装matplotlib失败解决方法


Continue reading

搭建视频点播(VOD)服务(live555 + ffmpeg)

Posted on 2017-11-01(星期三) 19:12 in Data • Tagged with 视频点播, live555, ffmpeg

前两三个月在整人脸考勤的项目,大体上分实时视频和点播两大块,实时视频使用的是ffserver流媒体服务器,负责从海康威视摄像头接收实时视频流,转而可实时查看原始视频流,同时进行人脸检测识别,最后可将原始视频流或经ai处理的视频流通过ffmpeg录制。将ffmpeg录制的视频后缀修改为live555规定的格式后即可通过rtsp流就行点播。


Continue reading