从今年7月份，我将blog由is-programmer平台转到了github的pages平台。转向pages的理由很简单，静态blog很简洁，再加上Scturtle写了一个静态blog生成器。但是用了一段时间以后，我还是决定再转回is-programmer。

什么是Pages?

Github Pages are public webpages freely hosted and easily published through our site. You can publish online using the Automatic Page Generator. If you prefer to work locally you can use the GitHub for Mac and Windows apps, or the command line.

pages or is-programmer, it is a question

到底选择那个平台，仁者见仁，智者见智。不过，现阶段我还是选择is-programmer吧，这是我的菜。将来，谁知道？不过我的确喜新厌旧，呵呵。

机器学习主要是设计和分析使计算机能够“学习”的算法，这些算法能从经验数据集中发现规律，并根据规律对未知数据做预测。

1. 那么到底什么是学习呢？我的理解是：广义上来说， 学习就是程序能够根据经验提高自己性能，狭义上来说，从概率图模型的角度，一个完整的建模过程包括：表示，推断，学习，这里的学习就是确定模型中的参数。
2. 经验数据：那么这些经验数据又从拿来呢？一般来说，可以是人手工整理的数据或是从网络中整理收集的数据。这些数据，或多或少都会混杂着人类的经验。例如：在图像分类的数据集中，可能图片已经由人类手工标注过了。

机器学习已经有了十分广泛的应用，例如：数据挖掘（CV）、计算机视觉(CV)、自然语言处理(NLP)、生物特征识别、搜索引擎(IR)、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用等。

 A computer program is said to learn from experience E with respect to some class of tasks T and performace measure P, if its performance at tasks T, as measured by P, improves with experience E.

Learning is any change in a system that produces a more or less permanent change in its capacity for adapting to its environment.

1. 任务T。我们要处理的是一个什么样的任务，是无人汽车设计问题，语言识别，还是人脸识别等等。我们必须对我们要处理的任务有一个清晰的认识。
2. 性能标准P。我们使用什么样的标准来说明我们模型的好坏，这对我们后面设计学习的目标函数时候有指导作用，我们根据标准P来设计和调整模型，满足我们的任务要求。
3. 训练经验E。从那里获取训练经验可能对我们系统学习的好坏有非常直接的影响，必须自己选择。

两类问题-分类和回归

对于一般的机器学习问题，可以认为去估计一个函数$f:\mathcal{X}\rightarrow \mathcal{Y}$.

1. 分类问题输出$\mathcal{Y}$是离散的，例如在二类问题中，输出值通常为：$\{-1,+1\}$；
2. 回归问题输出$\mathcal{Y}$则是连续的，例如：在曲线拟合问题中，输出为：$\mathbb R$。

模式识别问题的过程

1. feature vector:  $x^i=(x_1,x_2,\dots,x_m);$
2. target vector: $y^i=(y_1,y_2,\dots.y_k);$
3. data set:    $X=(x^1,x^2,\dots,x^n); Y=(y^1,y^2,\dots,y^n);$

1. 首先，通常是特征提取和选择。特征提取就是将输入的数据转化为特征集合，从而得到特征向量。特征提取就是选择特征的一个子集。特征提取和选择是维度下降(dimension reduction)的主要方法；
2.  然后，我们就要设计算法，实现一个学习器以满足不同的任务。通常要根据实际应用看是什么问题，从而选择不同的算法类型；
3. 最后，在不同的数据集上评价我们的模型。

机器学习的不同类型

1. 监督学习。在监督学习中，训练集合(training set)中的实例是输入值和期望的输出值（通常是人们手工标注的标签或其他值）的二元组。在监督学习中，有训练集合得到一个分类器（分类问题）和回归函数（回归问题），能够对任何的有效输入值做出预测。
2. 非监督学习。在非监督学习中，训练集合中的实例是由输入值构成的，没有输出值（标注的标签）。在半监督学习中，学习的目标是发现训练数据的结构特征。通常用到的算法有聚类等。
3. 半监督学习。在半监督学习中，我们使用有标签数据（即上面所说的二元组形式）和无标签的数据一起来构建分类器。
4. 增强式学习。在增强式学习中，关注在给出的环境中，采取恰当的措施，以取得最大的回报。它最重要的一个特征就是平衡exploration和exploitation的关系，取得一个最优的解。
5.  其他

评价标准

1. Accuracy. 指正确分类的数目占总的数目的比例，写成数学公式

\[Accuracy=\frac{right}{total}\]

2.  Weighted Accuracy. 针对不同类型的错误，加上权值。根据不同的情况赋予不同的值，这样我们就能区别不同的错误。
3. Precision and Recall。 这个衡量指标常用到文档检索中，查准率(Precision)表示了我们检索出的相关信息占我们检索出信息的比例；而查全率（Recall）则表示了我们检索出的相关信息在整个系统相关文档中的比例。
4.  F1. 把Precision 和 Recall 这两个指标结合起来的指标是F1 ,定义如下：

5.  ROC(Receiver Operating Characteristic). ROC是最近很流行的一个评价指标，通过作ROC曲线，计算ROC面积，可以衡量模型作出的预测好坏。

实例：多项式曲线拟合

机器学习软件

现在有很多的机器学习的软件包，帮助我们快速解决问题，比如：

• python scikit-learn 
• shogun toolbox
• mlpy
• pylearn2
• weka
• R
• others

当然，我们可能也要实现一些基本的算法，可能会使用具体的矩阵工具和优化工具，比如：

• matlab/octave
• numpy,scipy
• R

在我的笔记中，使用matlab和scikit-learn来演示实现和使用学习算法。

scikit-learn简介

1.数据（Data）：在scikit-learn中，有一些自带的数据集，我们通常关注的是数据的特征和目标值。比如数字集合，获取特征和目标值，可以使用下面的代码：

>>> from sklearn import datasets
>>> digits = datasets.load_digits()
>>> digits_data = digits.data
>>> digits_target = digits.target

如果使用‘type’查看一下digits_data和digits_target的类型，可以知道它们是numpy.ndarray类型，这样如果我们自己需要提取特征的时候，只需要保存为这种数据类型，就可以使用scikit-learn 中的方法了。

2.学习和预测：这时机器学习中最核心的部分，使用什么样的模型，确定了这种模型后，如何更快更准确的进行学习，如何改进模型，提高泛化的能力。在scikit-learn 中，进行分类（或是其他任物）的估算器（estimator）是实现了fit(X，Y)和predict（X）的python对象。

>>> from sklearn import svm
>>> clf = svm.SVC(gamma=1e-4,C=100)
>>> clf.fit(digits_data[:-1],digits_target[:-1])
SVC(C=100, cache_size=200, class_weight=None, coef0=0.0, degree=3,
  gamma=0.0001, kernel='rbf', max_iter=-1, probability=False,
  random_state=None, shrinking=True, tol=0.001, verbose=False)
>>> clf.predict(digits_data[-1],digits_target[-1])

如果想要保存我们训练的模型，可以使用python库中的pickle模块。

>>> import pickle
>>> model = pickle.dumps(clf)
>>> clf2 = pickle.loads(model)

引用

在学习编程的过程中，一个核心的任务是编写可以完成我们任务的函数。不管我们使用的什么语言，做什么开发，函数抽象并不少见。所谓的函数，我认为就是一些语句的集合，完成一个特定的任务。有了函数，我们思维时的操作原子型的层次变的比较高，思维的难度就会降低。但是在不同的编程实践中，为了完成任务需要的编写函数的思维方式也许是不同的，这会受到编程语言或是第三方库的影响。

#include<stdio.h>

    void swap_int(int * a, int * b){
        int tmp=0;
        tmp=*a;
        *a=*b;
        *b=tmp;
    }

    void bubblesort(int * a,int n){
        int i;
        int j;
        for(i=0;i<n-1;i++){
            for(j=n-1;j>i;j--){
                if (a[j]<a[j-1]){
                    swap_int(&a[j],&a[j-1]);
                }
            }
        }
    }

    def bubblesort(l):
        n=len(l)
        for i in range(n-1):
            for j in range(n-1,i,-1):
                if l[j]<l[j-1]:
                    l[j],l[j-1]=l[j-1],l[j]

    public class BubbleSort{

        public static void sort(int[] l){
            int n=l.length;
            for(int i=0;i<n;i++){
                for(int j=n-1;j>i;j--){
                    if(l[j]<l[j-1]){
                        swap_int(l,j,j-1);
                    }
                }
            }
        }

        private static void swap_int(int[] l,int m,int n){
            int tmp=l[m];
            l[m]=l[n];
            l[n]=tmp;
        }
    }

    (define (bubblesort l)
     (let ((n (vector-length l)))
     (map (lambda (i)
           (map (lambda (j) 
                 (if (< (vector-ref l j) (vector-ref l (- j 1)))
                  (swap l j (- j 1))))
            (range (- n 1) i -1)))
           (range 0 n 1))))

    (define (swap l a b)
     (let ((tmp (vector-ref l a)))
      (vector-set! l a (vector-ref l b))
      (vector-set! l b tmp)))

    (define (range low high step)
     (if (or (and (> step 0) (> low (- high 1))) (and (< step 0) (< low (+ high 1))))
      ()
      (cons low (range (+ low step) high step))))

    (define l (vector 2 3 1 5 4 7 8 9 1))
    (bubblesort l)
    (display l)

1. 过程抽象对于我们解决问题，非常有用。使用高级语言提供的机制，可以大大解放我们的编程效率。
2. 理解问题的时候，通常没法子一下理解的很好，所以在对问题的理解上，要多花功夫。
3. 在写过程式的语言时，对于一些地方很模糊，这就是我们训练的地方。
4. 函数式的编程方式，对思维的训练量很大。

快乐的大学生活就要结束了，到了毕业季，大家在兴奋中有充满了伤感，不知道何时才能再度重逢，再像这样一起生活四年是不可能了。我们应该珍惜自己身边的朋友，也许有各种毛病，但是，是人就有毛病，没有的话，那就成神了。

闲话不说了，今天早上整理同学的论文，可能是自己没做好通知，大多数同学的文件名都有问题，非常蛋疼的一个一个的帮同学修改文件名。然后去教务处交上了，但是忘了做论文的清单了，难道又要一个一个的输吗？想了想，用python写个脚本吧。因为我已经手动的帮把文件名都改成了:学号_姓名的格式，刚开始的思路，只是将文件名和学号处理一下，让程序自动的把这学号和姓名写入xls文件；但是还有论文题目，指导老师，这两项还是要一个一个的输，看了看论文，尽管有的同学的首页有问题，但是大多数同学的首页都包含了这四种信息，那就不如直接处理word文件了，把信息提取出来，直接写入xls文件。

程序的思路：

1. 使用win32com把word转为txt文件；
2. 读取txt文件，在前30行中搜索姓名，学号，题目，导师信息；
3. 把提取的信息写入xls文件。

思路比较简单，程序写了一下午，主要是对win32com不熟悉，还有让人窒息的汉字编码问题，耗费了大多数时间。跑了一下，程序的效果还是比较好的，只有几个同学的文档没有按照学校给的模版写，没有抓到信息，其他的都搜到了。

# -*- coding: utf-8 -*-
import fnmatch, os, sys, win32com.client  
from tempfile import TemporaryFile
from xlwt import Workbook
# prepare xls file
book = Workbook(encoding='utf-8')
sheet1 = book.add_sheet('Sheet 1')
sheet1.write(0,0,'学号')
sheet1.write(0,1,'姓名')
sheet1.write(0,2,'论文题目')
sheet1.write(0,3,'专业')
sheet1.write(0,4,'指导老师')
sheet1.col(0).width = 5000
sheet1.col(1).width = 5000
sheet1.col(2).width = 10000
sheet1.col(3).width = 5000
sheet1.col(4).width = 5000

# retrive informatio from doc
index=1
wordapp = win32com.client.gencache.EnsureDispatch("Word.Application")  
try:  
      for path, dirs, files in os.walk(sys.argv[1]):  
            for filename in files:  
                  if fnmatch.fnmatch(filename, '*.doc'):
                      filetype=1
                  elif fnmatch.fnmatch(filename, '*.docx'): 
                      filetype=2
                  else:
                      continue
                  doc = os.path.abspath(os.path.join(path, filename))  
                  print "processing %s" % doc  
                  wordapp.Documents.Open(doc)  
                  if filetype==1:
                      docastxt = doc[:-3] + 'txt'  
                  else:
                      docastxt =doc[:-4]+'txt'
                  wordapp.ActiveDocument.SaveAs(docastxt,FileFormat=win32com.client.constants.wdFormatText)  
                  wordapp.ActiveDocument.Close( )  
                  f=open(docastxt,'r')
                  namefound=False
                  numberfound=False
                  titlefound=False
                  adfound=False
                  i=0
                  metadata=[u'prob']*5
                  for line in f:
                      line=unicode(line,'gbk')
                      i=i+1
                      if i>30:
                          break
                      if namefound and numberfound and adfound:
                          break
                      if titlefound:
                          metadata[2]=line.lstrip().rstrip()
                          titlefound=False
                          pass
                      if line.find(u'号')!=-1:
                          metadata[0]=line.split()[-1]
                          namefound=True
                      elif line.find(u'姓')!=-1:
                          metadata[1]=line.split()[-1]
                          numberfound=True
                      elif line.find(u'题目')!=-1:
                          titlefound=True
                      elif line.find(u'师')!=-1:
                          metadata[4]=line.split()[-1]
                          adfound=True
                  metadata[3]=u'计算机科学与技术'        
                  print 'number: %s, name: %s, title: %s,dap: %s, ad: %s'%(metadata[0],metadata[1],metadata[2],metadata[3],metadata[4])
                  for meta in range(5):
                      print index,meta
                      sheet1.write(index,meta,metadata[meta])
                  index+=1
                  f.close()
                  os.remove(docastxt)

      book.save('08_1_auto.xls')
      book.save(TemporaryFile())

finally:  
      # 确保即使有异常发生Word仍能被正常关闭  
      wordapp.Quit( ) 

在上一篇文章中，介绍了PageRank算法的基本原理，这里讨论一下如何计算PageRank的值。我们还是使用上一篇使用的例子，系统结构图如下：

由PageRank的原理可以知道，一个页面的PageRank值主要是由系统的图结构(M)和阻尼因子（d）决定的。根据经验d的取值为0.85。

PageRank可以用Markov Chain的理论来解释，我们可以根据图的邻接矩阵$A$计算一个随机矩阵$M$。

由邻接矩阵得到随机矩阵具体的过程：

1. 如果一行中没有1，全为0，则用$\frac{1}{N}$来代替0，其他的行如下处理；
2. 每个1都除以这行中1的个数，即：$\frac{A_{i,j}}{\sum_j{A_{i,j}}}$;
3. 用$d$乘以上面得到的矩阵;
4. 在上面得到的矩阵的每个元素加上$\frac{1-d}{N}$，从而得到$M$;

上图的邻接矩阵可以表示为：

根据上面给出的算法，可以得到随机矩阵：

在随机矩阵中，stationary probability vector$\pi$是在随机矩阵的作用下值不变。其定义如下：

$\pi P = \pi$。 

根据Perron–Frobenius theorem定理，随机矩阵总会存在一个stationary probability vector，而这个特征向量正好就是我们要求的PageRank。有很多的方法可以求解，最常用的是：power method.

算法描述如下：

1. 初始化向量$x_0$；
2. 计算$x_{(t+1)}=x_tM$；
3. 判断是否$|x_{(t+1)}-x_t| < \epsilon$，如果是，停止；否则，跳到2.

参考：

1.http://en.wikipedia.org/wiki/PageRank

2.http://nlp.stanford.edu/IR-book/html/htmledition/the-pagerank-computation-1.html#pagerank

ps: 不知道为什么不能显示矩阵，只能转为图片了。

今天去听了一个讲座，讲的是基于机器学习方法的rank算法，讲到了PageRank(google.com)和HITS(ask.com)算法，本来就像看看PageRank是怎么回事，刚好借此机会学习一下。

1. 解压下载的压缩包到~/.vim目录。
2. 设置vimrc。详细参见：http://vim-latex.sourceforge.net/documentation/latex-suite/recommended-settings.html
3. 安装help文件。helptags ~/.vim/doc
4. 设置Vim-latex-suite。使用xelatex命令进行文档的编译，利用evince浏览生成的pdf文档。可以通过修改~/.vim/ftplugin/latex-suite/texrc完成这些操作。

#第88到92行，我进行了如下修改,就是让tex总是被编译成pdf

88 if has('macunix')

89 TexLet g:Tex_DefaultTargetFormat = 'pdf'

90 else

91 TexLet g:Tex_DefaultTargetFormat = 'pdf'

92 endif


#第117行修改,使用xelatex完成 tex -> pdf 的编译

114 " ways to generate pdf files. there are soo many...

115 " NOTE: pdflatex generates the same output as latex. therefore quickfix is

116 "       possible.

117 TexLet g:Tex_CompileRule_pdf = 'xelatex -interaction=nonstopmode $*'



修改147行,指定用evince程序打开pdf文档

144 elseif has('macunix')

145 " Let the system pick.  If you want, you can override the choice here.

146 TexLet g:Tex_ViewRule_ps = ''

147 TexLet g:Tex_ViewRule_pdf = 'evince

话说在我的t60上跑win7还是有点吃力，感觉最近用的软件好像linux下几乎都有，干脆直接割掉win,转到linux单系统。反正实验有win7，如果需要就远程登录吧。

前期准备：

1. 网络设置。不知道unbutu里面的network-manager-gnome怎么又抽风了，反正没能设置成功，删了。那只能手动设置interfaces和resolv.conf，气人的是ubuntu的dns设置更改了，那只能通过resolvconf工具来改了。
2. vim。由于我的vim插件是直接从win拷过来的，很多插件提示，多余的M结尾符，通过set ff=unix解决。
3. tex。在win下面，使用的是ctex，由于对中文支持较好，转到ubuntu下面，使用texlive，集成了xetex,加上vimlatex感觉够用了。
4. 看球。由于以前在win下用pplive看球，现在只能上pptv.com上看了，不过有些节目不能直播，比较悲剧。不知道为什么不能看北邮的iptv，这点悲剧了。。。。