存档

文章标签 ‘ahei’

版权声明

2010年3月9日 ahei 没有评论

本站所有文章均为原创文章,版权归本站所有,除非特别声明,所有原创文章均采用“署名-非商业性使用-相同方式共享 2.5 中国大陆”的创作共用协议。

如果你打算转载本站的文章,必须以超链接形式在文章开始处注明文章作者及原始出处,以示对我劳动成果的尊重,例如:

商业网站请勿复制本站内容。

分类:

nutch的分布式抓取

2010年2月12日 ahei 26 条评论

前段时间我写了一篇文章讲nutch的简单使用,是单台机器抓取,今天我讲一下nutch的分布式抓取。

由于nutch的分布式是采用hadoop,所以nutch的分布式抓取主要涉及到hadoop和nutch本身两方面的配置。 阅读全文…

我的wordpress插件

2010年1月21日 ahei 10 条评论

最近自己用wordpress把博客搭起来了,由于以前在yo2上写博客的时候,wordpress都是yo2已搭好的,插件也都是他们加的,用户不能自己上传插件,少了很多麻烦,也多了一些不方便。这次自己搭博客,由于没有以前yo2上wordpress的插件列表,只有自己根据印象一个的去找插件,找的过程中,也发现了一些比较好的插件,这里我记录下来,做备录用,也供没有搭过wordpress的同志参考。(注:以下插件根据重要性和功能强大性做基本有序排序,这些插件都可以根据名字去wordpress插件官网下载。) 阅读全文…

分类: 初级, 技术杂记

我的博客重生了

2010年1月17日 ahei 7 条评论

由于伟大的”最大公约数”整治网络, 关闭yo2上的所有博客, 我的博客http://ahei.yo2.cn便不能再访问了. 之后试了godaddy的免费空间, 崩溃的是, 安装完WordPress后竟然只能用ie才能正确显示后台管理界面, 其他浏览器都不能正确显示, 貌似没有成功加载css(不过水木网友告诉了我解决办法). 无奈, 再去找了些免费的空间, , , 很失望, 导入文章后, 都出现以下错误信息: 阅读全文…

分类: 我的生活

终于注册了一个独立域名

2009年12月19日 ahei 7 条评论

前阵子, 有朋友建议我注册个独立域名, 买个空间, 那样会稳定些. 昨天同事说godaddy圣诞节前, 搞优惠活动, 申请.com域名时, 只要输入优惠码“BUYCOM99”, 就可以享受0.99美元的优惠价格. 遂也打算去注册一个域名. 先试了下emacs.com, 已被注册, 然后再试了下emacser.com, 没被注册, 太好了. 赶快注册! 阅读全文…

分类: 我的生活

用tsocks代替sockscap来转发网络请求

2009年12月7日 ahei 3 条评论

你有没有遇到过这种情况: 某一台机器A的网速特别快, 另外一台机器B和A机器在同一个局域网内, 但是B机器的带宽有限, 由于A机器和B机器由于是在局域网内, 传输速度很快, 所以如果能把B机器的网络请求先发到A, 再由A转发出去, 这样B机器的网速可以一样很快了. 那么怎样来转发请求呢? 很显然, 用代理软件就可以做到. 但是, 我在这里给大家提供一个更简便的架设socks代理的方法, 用ssh服务. 阅读全文…

分类: linux, 中级

Nutch配置文件的加载

2009年11月30日 ahei 2 条评论

Nutch的配置文件主要有三类:

  • Nutch插件的配置文件,这些配置文件主要是在加载插件的时候由插件自己加载的,主要是filter和normalizer插件的配置文件
  • Nutch自己的配置文件,-default.xml和nutch-site.xml
  • Hadoop的配置文件,-default.xml和hadoop-site.xml

这些配置文件的加载顺序决定了它们的优先级,优先级低的会被优先级高的配置文件中的配置覆盖,所以要想配置好nutch,了解配置文件的加载顺序是必须的。下面我通过对nutch源码的剖析来看看nutch是怎样加载配置文件的。 阅读全文…

Nutch的简单使用

2009年11月25日 ahei 413 条评论

Nutch是一个开源的搜索引擎,包括抓取,索引,搜索,不过它主要专注于抓取,下面我讲一下它的简单使用。 阅读全文…

博客地图

2009年11月21日 ahei 13 条评论
分类:

我也开博啦

2009年11月4日 ahei 没有评论

自己是一个不太喜欢写东西的人, 读书的时候最怕的就是写作文, 当然这与我文笔很差是有很大关系的, 不过最近在学习的时候, 碰到和解决了很多问题, 很想与大家分享一下, 于是乎也弄了个博客, 记录点我的所思所想, 顺便也锻炼锻炼文笔吧, 内容主要涉及emacs,,算法和数据结构,以及人工智能, 欢迎大家捧场.

分类: 我的生活