0723 机器学习基础

机器学习基础——（中科类脑）

• 数学基础

向量的L1范数：数据之间的度量能够产生数据的稀疏性
向量的内积用距离表示： (x-y)^T (x-y)
矩阵的二范数是矩阵的奇异值之和：〖||A||〗_F
矩阵的乘法即为矩阵内的向量内积的过程

• 张量(tensor)：

如果一组数组中的元素分布在若干维坐标的规则网络中，就将其称为张量，例如一幅图，有3个通道，是3维张量；一个batch(比如128)图像，是四维张量
独立同分布假设：目前机器学习的很多结论都建立在该假设的基础之上

先验概率：某一不确定量p的先验概率分布是在考虑“观测数据”前，能够表达p的不确定性的概率分布
贝叶斯规则：通过先验概率与似然函数相乘，随后保准化，来得到后验概率分布
最大似然估计：已经知道样本分布，估计出参数，该参数能够使得概率分布达到最大值

• 机器学习

根据数据标注信息分类：
监督——根据输出空间分类：分类、回归
非监督——聚类：根据文章内容，分类成不同的主题
半监督
回归模型预测连续值，分类模型预测离散值

• 机器如何学习

线性分类：数轴上的分类
单个特征x（一维特征、实数）
一个参数b（偏置项）
平面上的分类：转换为数轴上的分类
特征向量x=〖(x_(1，),x_(2，))〗^T
参数：w1,w2,b
分界面：w^T x+b=0 (w:分界面的法向量)

• 学习算法要解决的两个问题：

准则：什么样的w，b是好的
经验最小化准则
算法：如何找到这个好的w,b
优化算法(e.g.梯度下降)

• 梯度下降：

批量梯度下降：所有样本都参与
随机梯度下降：每次迭代时都只用一个样本，随机选择，进行梯度下降
小批量梯度下降：每次选取一小部分样本进行梯度下降
学习率：梯度下降的步长选择

• 线性回归的损失函数：

在一维或者多维的空间里，线性回归的目标是找到一条直线或者平面使得样本点更加接近它，也就是残留误差最小化
使用平方损失函数，也称为最小二乘法

• Logistic回归：

损失函数即交叉熵损失函数，可以用作计算多类分类的softmax函数的损失函数

• Boosting：

将多个分类器集成起来形成的新的分类算法
基于错误提升分类器性能，通过集中关注被已有分类器分类错误的样本，构建新分类器并且集成
正则化：超参数优化

深度学习环境搭建——郑歆慰（中科类脑）

• 为什么GPU环境会更快？

GPU是专门为计算密集、高度并行的程序所设计的
它将更多的晶体管用在了计算，而不是数据缓存和流程控制

• Kernel函数：

由__global__进行定义
当核函数被调用时，实际上是在N个CUDA线程中执行了N遍

• CUDA编程模型：

一个Kernel会被多个线程块组成的grid执行，所有线程共享数据存储空间
一个线程块是一批的线程，他们执行相同的代码，可以使用特定的操作来同步，并会共享高速的shared memory
不同线程块间的不同线程是互不干扰的
CUDA决定了写出来的程序能否运行在驱动程序上

• CUDA小结：

面向GPU并行计算的编程语言
是对C语言的扩展
常用的编程模式：串行代码在CPU上运行，并行代码在GPU上执行
并行代码在Kernel函数中定义
线程会分层次地被组织为线程块和grid

• Docker

将应用和依赖打包到一个虚拟的容器中
一种虚拟化的方案，是操作系统级别的虚拟化，只能运行相同的或者相似内核的操作系统
对标的产品：虚拟机

• Docker的特点：

可以用于开发、测试和部署
逻辑分离的环境
快速高效的生命周期，不仅可以用于开发，还有测试
Docker基本组成：
Docker客户端和守护进程
C/S架构，本地/远程

最后

以上就是曾经灯泡为你收集整理的【培训笔记】高校人工智能训练营笔记07230723 机器学习基础的全部内容，希望文章能够帮你解决【培训笔记】高校人工智能训练营笔记07230723 机器学习基础所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。