Python 项目开发实践工具栈

待续............ 项目 项目创建 创建一个新的项目模板使用skeleton 使用 pip install skeleton 安装, 如果不自定义模板的话可以使用 python -m skeleton.examples.basicpackage <dst_dir> 简单构建一个新的项目 测试部分选择nose 如果是命令行程序选用 docopt 来做参数解析 web程序采用 django »

java 内存分析

Java把内存划分成两种:一种是栈内存,一种是堆内存 栈内存为各种调用关系存储, 堆内存存储各种对象实体, java 的堆栈是由 jvm 模拟出来的,堆栈受制于 jvm 的进程管理 一般 debug 问题中会遇到内存溢出问题 下面介绍几种常用的方法 dump 内存信息 使用 jmap [root@master jmap]# jmap -dump:file= »

sentry 安装

sentry 是python的一个日志收集服务,他的主要作用是统计应用程序的日志 很早前就知道这个开源,木有细看,后来搞大数据,大数据里面各种开源日志系统,就更加把这个忘了,再后来仔细看cdh manager里面有用到sentry 抱着好奇再回头看了下 ,发现其实这个开源日志系统蛮靠谱的 各语言的sdk完善 扩展性好, 基于celey 所以分布式不是问题 数据展示也做得蛮好 权限管理和报警都不错 设计简单可用,独立web接口提供服务 本着易上手不折腾的原则照着教程装了一个. virtualenv /data/sentry/ cd /data/ »

awesome-machine-learning

A curated list of awesome machine learning frameworks, libraries and software (by language). Inspired by awesome-php. Other awesome lists can be found in the awesome-awesomeness list. »

spark 1.4 + MFS 最简单安装

# 安装java 安装 oracle 1.7 版本 cd /mfsdata/java sudo wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" »

爬虫-搜狐视频的资源解析

敌人的弱点在于他不关注的地方 所有的网站在 html5端上的关注度是比较低的, 那就从这儿下手, pc端的站搞起来得力气大 打开 http://m.tv.sohu.com/movie?o=-1 查看网络得到某个接口地址如下: http://api.tv.sohu.com/v4/search/channel.json?page_size= »

Mac 下的文件共享

多台机器, 多电脑编辑环境, 需要软件一致. 这样才能体验一致 但是现实的场景是安装软件是随机的,比如我在公司装了一个软件,回家忘记了, 这个时候需要有软件同步的工具 你会说 appstore 呢? 我回答 我的很多软件不是在 appstore 装的 这个场景下需要文件共享 你说百度网盘呢 我说 那里都是我放盗版视频的,需要同步的文件太多,而且一个守护进程开销太大,并且没有外链 这个场景下最简单的是 ftp 如果你考虑安全 ,那么最简单的是 »

Django REST 系列 序言

一直希望把web开发简单化 从本质上来说,web服务 无非就是一堆数据和接口 + 前端视图 而现在前端技术的飞速发展,数据和视图部分的渲染已经完全可以交给前端处理了. 所以后端的任务理论上,只要做好数据接口就可以了 从这个方向看,那么设计接口这一套应该可以抽象出来 于是有人提出了REST 风格的设计模式. REST 简单来说就是 把接口也当做资源, 类似文件系统, 通过HTTP的几种方法来映射成,增删改 几种操作, 剩下的就是前端(web,移动) 服务调用各种接口 Django 是python社区里面 »