Jermmy's Lazy Blog


  • 首页

  • 分类

  • 归档

  • 标签

读书笔记:改进损失函数

发表于 2017-07-20 | 分类于 机器学习 |

(本文是根据 neuralnetworksanddeeplearning 这本书的第三章Improving the way neural networks learn整理而成的读书笔记,根据个人口味做了删减)

上一章中,我们领略了神经网络中最重要的算法:后向传播算法(BP)。它使得神经网络的训练成为可能,是其他高级算法的基础。今天,我们要继续学习其他方法,这些方法使得网络的训练结果更好。

这些方法包括:

  • 更好的损失函数:交叉熵(cross-entropy)函数
  • 四种正规化方法:L1、L2、dropout以及数据集的人工增广
  • 一种更好的初始化权值的方法
  • 一系列选择 hyper-parameters 的启发策略
  • 其他一些小技巧
阅读全文 »

读书笔记:神经网络是怎么训练的

发表于 2017-06-25 | 分类于 机器学习 |

(本文是根据 neuralnetworksanddeeplearning 这本书的第二章How the backpropagation algorithm works整理而成的读书笔记,根据个人口味做了删减)

在上一章的学习中,我们介绍了神经网络可以用梯度下降法来训练,但梯度的计算方法却没有给出。在本章中,我们将学习一种计算神经网络梯度的方法——后向传播算法(backpropagation)。

阅读全文 »

读书笔记:敲开神经网络的大门

发表于 2017-05-13 | 分类于 机器学习 |

(本文是根据 neuralnetworksanddeeplearning 这本书的第一章 Using neural nets to recognize handwritten digits 整理而成的读书笔记,根据个人口味做了删减)

对于人类来说,识别下面的数字易如反掌,但对计算机而言,却不是一个简单的任务。

digits
digits

在我们的大脑中,有一块跟视觉相关的皮层 V1,这里面包含着数以百万计的神经元,而这些神经元之间的连接,更是达到了数以亿计。在漫长的进化过程中,大自然将人类的大脑训练成了一个「超级计算机」,使它可以轻易地读懂、看懂、听懂很多目前的计算机仍然难以处理的问题。在本章中,作者介绍了一种可以帮助计算机识别手写体的程序:神经网络「neural network」。

阅读全文 »

论文笔记:Joint Embeddings of Shapes and Images via CNN Image Purification

发表于 2017-05-10 | 分类于 计算机图形学 |

今天分享的这篇论文是 SIGGRAPH 2015 的入选论文,标题比较长,但它做的事情其实很简单:通过一张图片,找到和这张图片最相似的 3D 形状👇。

image query
image query
阅读全文 »

论文笔记:Rich feature hierarchies for accurate object detection and semantic segmentation

发表于 2017-05-08 | 分类于 计算机视觉 |

在上计算机视觉这门课的时候,老师曾经留过一个作业:识别一张 A4 纸上的手写数字。按照传统的做法,这种手写体或者验证码识别的项目,都是按照定位+分割+识别的套路。但凡上网搜一下,就能找到一堆识别的教程,分割的文章次之,而定位的文章就少之又少了。这其中的缘由也很简单:识别目前来说已经不是什么难事了,所以容易写,但分割和定位却仍然是一个头疼不已的问题,不同场景方法不同,甚至同一场景也要结合多种图像处理方法,因此很难有通用的解决策略。在深度学习火起来之后,很多研究人员开始尝试用深度学习的特征提取能力来解决定位的问题,本文学习的这篇论文,就是被誉为用 CNN 解决物体定位的开山之作:R-CNN。

这篇文章打算浅浅地分析一下 R-CNN。

阅读全文 »

论文笔记:Selective Search for Object Recognition

发表于 2017-05-04 | 分类于 计算机视觉 |

与 Selective Search 初次见面是在著名的物体检测论文 Rich feature hierarchies for accurate object detection and semantic segmentation ,因此,这篇论文算是阅读 R-CNN 的准备。

这篇论文的标题虽然也提到了 Object Recognition ,但就创新点而言,其实在 Selective Search 。所以,这里只简单介绍 Selective Search 的思想和算法过程,对于 Object Recognition 则不再赘述。

什么是 Selective Search

Selective Search,说的简单点,就是从图片中找出物体可能存在的区域。

上面这幅宇航员的图片中,那些红色的框就是 Selective Search 找出来的可能存在物体的区域。

阅读全文 »

微漫项目总结

发表于 2017-05-01 | 分类于 Android |
weiman
weiman

上个学期花了半年的时间做了这个应用,程序总体来说不大,而且中间还有大量的时间花在技术调研以及试错上,但实际有效开发时间也有两个月之久,因此值得总结的东西还是挺多。由于我主要开发 Android 端,所以这里的总结也只是针对 Android。至于算法方面,就先略过了。

阅读全文 »

浅析 Bag of Feature

发表于 2017-04-28 | 分类于 计算机视觉 |

Bag of Feature 是一种图像特征提取方法,它借鉴了文本分类的思路(Bag of Words),从图像抽象出很多具有代表性的「关键词」,形成一个字典,再统计每张图片中出现的「关键词」数量,得到图片的特征向量。

阅读全文 »

cmake学习笔记(3)——编译和引用链接库

发表于 2017-04-26 | 分类于 工具 |

学习目标

上一篇文章我们介绍了如何用 cmake 去 build 一个小型的工程项目。在实际开发中,我们有时候只是想编译生成一些链接库,而不是编译一个完整的项目。今天,我们来学习如何用 cmake 构建链接库。

阅读全文 »

cmake学习笔记(2)——引用文件夹

发表于 2017-04-26 | 分类于 工具 |

学习目标

之前的文章中,我们介绍了 cmake 的 HelloWorld 程序,并了解了执行 cmake 的一般套路。今天,我们稍微深入一下,学习如何引用多个文件夹下的代码。

引用文件夹

随着功能的增加,我们的项目也变得越来越大了。这个时候,为了更好地管理代码,我们将工程拆分成各个模块,每个模块的代码文件单独放在一个文件夹下以便管理。在这种情况下,cmake 将带来更多的便利。

阅读全文 »
1…456…10
Jermmy

Jermmy

In me the tiger sniffs the rose.

96 日志
19 分类
43 标签
GitHub
Links
  • 阮一峰
  • pluskid
© 2016 - 2020 Jermmy
由 Hexo 强力驱动
主题 - NexT.Muse