1nnoh's Blog

0x00 Abstract

• CAM 类激活热力图：深度学习可解释性分析、显著性分析的经典之作
• 论文：Learning Deep Features for Discriminative Localization, CVPR 2016，作者：周博磊
• 主要贡献：奠定了可解释性分析、显著性分析的基石，在此基础上衍生出了一系列的 CAM 方法。帮助我们打开了深度学习的黑箱子。

CAM 是一篇让人拍案叫绝的论文。

0x00 Abstract

• 纽约大学 ZFNet，2013 年 ImageNet 图像分类竞赛冠军模型。对 AlexNet 进行改进的基础上，提出了一系列可视化卷积神经网络中间层特征的方法，并巧妙设置了一系列实验，从各个角度基于可视化，对卷积神经网络各中间层提取的特征进行了相关分析。
• 论文：Visualizing and Understanding Convolutional Networks（可视化并理解卷积神经网络）
• 主要贡献：提出了一种巧妙的可视化卷积神经网络中间层特征的可视化方法与技巧

0x00 Abstract

从以下角度来认识可解释机器学习： - 什么是可解释人工智能？ - 学可解释机器学习有什么用？ - 如何对传统机器学习、深度学习做可解释性分析？

0x04 评估指标

以一个例子开始。假设我们有一个汉堡分类器，可以针对图片分类，分为是汉堡，或者不是汉堡。如果我们想知道，这个分类器的效果到底如何？该如何评价呢？

0x00 Abstract

• 回归：假设现在有一些数据点，我们用一条直线对这些点进行拟合（这条直线称为最佳拟合直线），这个拟合的过程就叫做回归。
• 线性回归：假设因变量和自变量之间是线性关系（拟合出一条直线）。
• 逻辑回归和线性回归都是广义的线性回归模型的特例。
• 线性回归只能用于回归问题，逻辑回归则用于分类问题（可由二分类推广至多分类）。
• 线性回归使用最小二乘法作为参数估计方法，逻辑回归使用极大似然法作为参数估计方法。
• 逻辑回归去除 Sigmoid 函数就是线性回归，可以说线性回归是逻辑回归的理论基础。逻辑回归通过 Sigmoid 函数引入了非线性因素，得以解决分类问题。

0x00 Abstract

机器学习是深度学习的基础，这篇笔记是对机器学习这部分内容的一个开篇。了解什么是机器学习，然后学习一个经典的朴素贝叶斯模型，并运用到文本分类的实践。

0x00 Abstract

中文分词的目的：对中文句子中的词与词之间加上边界标记，本质就是对中文句子做划分词的边界。

• 为什么要做中文分词？
  • 因为英文单词之间是天然分开的，但中文没有
• 怎么做中文分词？
  • 基于统计学习的方法
  • 基于机器学习的方法等

0x00 Abstract

TF-IDF 是 NLP 入门的基础知识。通过对这种编码方式的学习，可以使我们更加容易理解 NLP 工作的本质。这篇笔记重点在实践 TF-IDF。想了解更多相关理论可以参考 矢量语义与嵌入之 TF-IDF 检索 。

0x00 Abstract

漏斗思维，是一个非常高效的思维方式，是一种线性的思考逻辑，一般按照任务的完成路径，识别出几个关键的行为转化节点；然后分析行为点间的转化与流失情况，进而定位问题，指导决策。

这种思维其实已经渗透在各行各业中，虽然平时并没有很好的觉察，但是，把他单独抽象出来，会让你更加容易洞悉到问题本质

0x00 Abstract

上篇笔记中，我们学习了关于文本表征基于词袋模型得到稀疏向量化文本的内容，比如 One-Hot 编码，比如 TF-IDF 编码。本质上来说，词袋模型其实是一种通过统计学方法，将文档中出现的所有词语根据词频等统计指标，转为稀疏向量，从而表达一篇文章的方法。但是，这种稀疏向量的表达会存在一些缺点，比如不考虑语序等等。那么有没有办法得到文本向量化的稠密表达呢？这就是本篇笔记要讲的，Word Embedding 词嵌入。