webdancer's Blog
[转] Computer science: The learning machines
文章链接：http://www.nature.com/news/computer-science-the-learning-machines-1.14481
Using massive amounts of data to recognize photos and speech, deep-learning computers are taking a big step towards true artificial intelligence.
Three years ago, researchers at the secretive Google X lab in Mountain View, California, extracted some 10 million still images from YouTube videos and fed them into Google Brain — a network of 1,000 computers programmed to soak up the world much as a human toddler does. After three days looking for recurring patterns, Google Brain decided, all on its own, that there were certain repeating categories it could identify: human faces, human bodies and … cats1.
介绍了 Deep learning的最新 的一些 进展，简单的总结一下：
- Google Brain Project（10^6神经元，10^9连接）代表的Deep learning技术让神经网络复兴；
- Neural Networks（神经网络）模仿人脑的神经元连接，通过经验来更改连接的强度，模拟人类的学习；
- 神经网络可以用来识别图像，处理自然语言，语音识别，翻译语言等；
-
AI的历史：
- 50s：手工提取特征，费事耗力；
- 80-90s：浅层网络“Neural nets were always a delicate art to manage. There is some black magic involved,”
- 2000s：计算能力的增强和数据的爆炸式增长；“For about US$100,000 in hardware, we can build an 11-billion-connection network, with 64 GPUs,”
- 现在 Deep Learning在 语音识别(25%)， 图像 识别(ImageNet, 15%)，下一步在NLP
[转]机器学习是什么--周志华
关于Object classification 不错的资源
这个网站收集了在几个常用的图像库上state-of-art的方法。
网址：http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html
深度学习工具-Caffe
一个深度学习工具
简介
Caffe is a framework for convolutional neural network algorithms, developed with speed in mind. It is written and maintained by Yangqing Jia as a replacement of decaf, Yangqing’s earlier Python implementation of CNNs. Several Berkeley vision group members are actively contributing to the codebase.
Caffe is currently released under the UC Berkeley non-commercial license.
Decaf, the big brother of Caffe, has a cool demo. Caffe’s own demo will come soon.
链接：
RBM-Restricted Boltzmann Machine
最近看了一下RBM的相关内容，理解的还很肤浅，记录一下，共同交流。
我自己觉得学习RBM，还是得看一下Markov Random Field的相关的内容，这样就能比较系统的熟悉这个模型。这篇文章就从MRF开始讨论，学习BM模型，再扩展到RBM模型，最后看一下RBM的训练方法。
Kernel method
kernel method是一种比较古老的统计方法，可以追溯到几十年前。不过最近的流行要归功到SVM在机器学习中的流行，最初SVM处理的是向量化的数据，不过很快人们发现借助Kernel，人们很容易的处理各种形式的数据，这给SVM这类的方法强大的威力。下面我们就来看一下kernel method方法。
LDA-linear discriminant analysis
分类问题也可以用降维来理解，比如一个$D$维的数据点$x$，我们可以采用下面的映射进行线性的降维，
\[
y=\theta^{T}x
\]
在计算出$y$后，就可以选择一个阈值$h$,来进行分类。正如我们在前面的PCA模型中看到的，降维会有信息的损失，可能会在降维过程中，丢失使数据可分的特征，导致分类的效果不理想。
概率基础
在模式识别领域中，我们遇到的一个很关键的问题就是不确定性。概率论为我们解决这种不确定性提供了一个系统的框架。在得到了相关变量的概率信息后，我们需要用决策论的相关知识做出最优的判断。也就是说，我们将模式识别的过程分为了两个阶段，第一个阶段就是推理(inference),得到相关的概率；第二阶段使用决策论知识做出最优的判断。下面就是概率论和决策论要用到的知识。