吐槽完了，现在把今年学过的东西复习一下，顺便立一个小小的目标——希望明年可以去百度IDG或者达摩院或者腾讯 AI lab 去实习。

• 一、统计机器学习基础

  1、监督学习

  • 输入空间：输入所有可能的取值的集合。
  • 输出空间：输出所有可能的取值的集合。
  • 每个具体的输入是一个实例，通常由特征向量表示，这时，所有特征向量存在的空间称为特征空间。（特征空间有时和输入空间相同，有时则不同，不同的时候就需要将输入空间映射到特征空间。）
  • 联合概率分布：监督学习假设输入与输出随机变量X和Y服从联合概率分布P(X,Y)，X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。
  • 假设空间：监督学习的目的在于学习一个由输入到输出的映射，这个映射由模型表示。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。假设空间的确定即意味着学习范围的确定。监督学习的模型可以是概率模型或判别模型，由条件概率分布P(Y|X)或者决策函数Y=f(X)决定。

  • 在监督学习中，假设训练数据与测试数据是依联合概率分布P(X,Y)独立同分布的。

    more >>

  2017年即将结束，今年发生了很多事，于我而言不再乏善可陈，在一次又一次感受到内心秩序的崩坏与重建之后，我突然明白了，每个人内心的秩序，就是他所认可的社会的秩序，每个人都凭借内心的秩序在世界上找到自我的位置，用不同的方式表达对生而为人的尊重，或温柔或激烈或跌宕地活着，庄严而有序。

  这些“庄严而有序”汇集起来，构成了外部世界的运行秩序。

  大家各就各位却同心协力，让诚信、谦恭、道义、正直、教养等等正知、正念，种在每个人的心中，扎根于生活文化的内核深处，使世界最终逐渐变得和谐而有秩序。

Python Numpy Tutorial From Stanford

This tutorial was contributed by Justin Johnson.
Python is a great general-purpose programming language on its own, but with the help of a few popular libraries (numpy, scipy, matplotlib) it becomes a powerful environment for scientific computing.

• Deep Learning for Language Modeling课程地址：点击查看

Language Modeling

Introduction

• 语言模型的实质就是估计一个句子产生的概率。换言之，就是估计一个词语序列出现的概率
  • 对于一个词语序列：W1,W2,W3,…,Wn
  • 估计概率P（W1,W2,W3,…,Wn）

• Tensorflow中的实现：点击查看

Abstract

• 提出了一种基于BI-LSTM的序列标记模型。
• 由于使用了Bidirectional LSTM，使得模型能够充分利用序列的前后信息。
• 由于使用了CRF层，可以利用句子层级的标记信息。

1、Introduction

• Sequence tagging主要包括以下几个任务：
  • POS
  • chunking
  • NER
• 现有序列标注模型大都基于以下几种线性统计模型
  • HMM(Hidden Markov Models)
  • MEMMs（maximum entropy Markov models）
  • CRF
  • Convolutional based models

• Tensorflow中的实现：点击查看

1、概述

• 使用带Attention机制的LSTM来对文章进行自动摘要。
• 使用encoder对文章进行编码，decoder产生summarization。
• 使用了一种混合评价机制——用户评价及系统评价。

2、引言及现状

• 现有两种摘要方法：extractive和abstractive
  • extractive：从原文中抽取相关段落作为摘要。
  • abstractive：模型根据语义对原文进行改写与总结。

  本文谈的是基于“Attention”的“Generation”，要展开这个话题，我们需要首先来谈谈何为“Genration”，以及何为“Attention”，最终定义什么是基于“Attention”的“Generation”。

• Generation：

  什么是“Generation”呢？在我看来使用神经网络来生成的过程是这样的，神经网络按一个顺序一个一个地生成一个结构化的object。先用短语生成举例，短语是由一个一个词构成的，这样的句子具有一定的结构，那么用神经网络生成这样一个短语的过程就是按顺序生成一个个词向量的过程：

  上大学以前没怎么接触过日本文化，彼时言及日本，脑海中的印象大都囿于动漫里的image，而未曾有更加深刻的理解。上大学之后发现周围有不少「绅士」，在潜移默化的影响之下，开始有意识地主动去了解一些日本的文艺作品。通过这些创作者的笔触，对于日本有了一些粗浅的看法——比如偏爱以反差美学加上暴力与死亡为主题的审美、或者根植于体内的守序与冷血、以及追求自然与极简的设计哲学等等，其中有不少特点令人深深折服，以致使人轻易便对这样一个小而美的国家心生憧憬。但同时也有不少地方在我们中国人看来很不可思议，在日本有哪些糟糕之处这样一个问题里，很多答者都表达了对于日本他们难以接受的地方。扫过这个问题下的多数答案，看到数篇回答都提到了日本社会的一个特点，我倒是觉得这个特点其实不止存在于日本，在我所处的环境里也时刻能感受这种社会现象带来的不适。

本文章节选自《数学之美》——吴军。

• 统计语言模型：

    S表示一连串特定顺序排列的词W1、W2、W3，……，而机器对于语言的识别从某种程度上来说，就是想知道S在文本中出现的可能性。
    P（S）= P(W1)P(W2|W1)P(W3|W1W2)……P(WN|W1W2……)，现假设任何一个词出现的概率都只与前一个词有关（马尔可夫假设）。那么，可以得到P（S）= P(W1)P(W2|W1)P(W3|W2)……P(WN|WN-1)。——其中P（Wi|Wi-1）=P(Wi,Wi-1)/P(Wi)

• 中文分词

•   最少词数理论分词：一句话应该分成数量最少的词串。

•   用统计语言模型解决分析二义性：

  more >>

本文章允许在知识共享署名-相同方式共享3.0协议和GNU自由文档许可证下修改和再使用。

• Linux文件系统：

  在Linux系统中，“设备即文件”，意即在linux下，所有的设备，都是以文件的形式存在的。都存在在/dev目录下。在/dev目录下的每个文件都对应一个设备。有字符设备，块设备和网络设备等等。这样的话，所有的设备你就都可以像访问文件一般的访问。比如你要访问串口,串口1对应的文件是”ttyS0”.打开文件/dev/ttyS0。往内写，就是往串口写，从文件读，就是从串口读。

  more >>