高等数学-学习算法/人工智能/大数据的第一步

集合与运算

集合

集合概念的引入

• 一个书柜中的书构成一个集合
• 一间教室里的全体学生构成一个集合
• 全体实数构成一个集合

集合的概念

集合：具有某种特定性质的事物的总体。

组成这个集合的事物称为该集合的元素。

\(a \in M, a \notin M\)

\(\in\)表示属于，\(\notin\) 表示不属于

A = {a₁,a₂, … , a_n} 列举法

M = {x|x 所具有性质 P} 描述法

例：\(B = \{x|x \in R, x^2 – 1 = 0\}\)  → B = {-1, 1}

数集分类： 

N —- 自然数集 N ={0，1，2, …, n, …}

Z —- 整数集     Z = {…, -n ,…, -2, -1, 0, 1, 2…, n,…}

Q —- 有理数集 Q = {\(p \over q\)|p \(\in\) Z, q \(\in N^+\) 且 p,q 互质}

R —- 实数集      R = {x|x 是有理数或无理数}

子集：若x \(\in\) A，则必x \(\in\) B，就说 A 是 B 的子集，记作 A \(\subset\) B.。

数集间的关系：N \(\subset\) Z，Z \(\subset\) Q，Q \(\subset\) R

集合相等

集合相等：若A \(\subset\) B，用B \(\subset\) A，就称为集合 A 与 B 相等

例： A = {1, 2}， B = {x|x² – 3x + 2 = 0}，则 A = B

空集

空集：不含任何元素的集合称为空集，记作\(\varnothing\)

例：{x|x \(\in\) R, x² + 1 = 0} = \(\varnothing\)

规定 空集是任何集合的子集

集合的运算

并集

并集：设 A 和 B是两个集合，由所有属于 A 或者属于 B的元素组成的集合，称为 A 与 B 的并集，记作 A \(\cup\) B

A\(\cup\)B = {x| \(\in\)A或x\(\in\)B}

交集

交集：设 A 和 B是两个集合，由所有既属于 A 又属于 B的元素组成的集合，称为 A 与 B 的交集，记作 A \(\cap\) B

A\(\cap\)B = {x| \(\in\)A且x\(\in\)B}

差集

差集：设 A 和 B是两个集合，由所有属于 A 而不属于 B的元素组成的集合，称为 A 与 B 的差集，记作 A\B，即

A\B = {x| \(\in\)A且x\(\notin\)B}

全集和补集

全集：我们研究某个问题限定在一个大的集合 I 中进行，所研究的其他集合 A 都是 I的子集，我们称集合 I 为全集。

补集：I/A 为 A 的补集，记作 A^c

例：A = {x|0 < x ≤ 1}的补集是A^c = {x|x ≤ 0或 x > 1}

区间与邻域

区间与邻域

区间

区间：是指介于两个实数之间的全体实数。这两个实数叫做区间的端点。

\(\forall\)a,b \(\in\) R，且 a < b

{x|a < x < b}，称为开区间。记作(a,b)

{x|a ≤ x ≤ b}，称为闭区间。记作[a,b]

{x|a ≤ x < b}，称为半开区间。记作[a,b)

{x|a < x ≤ b}，称为半开区间。记作(a,b]

无限区间

[a,+∞) = {x|a ≤ x}                (-∞,b) = {x, x < b}

注：全体实数的集合 R 可以记作(-∞, +∞)

邻域

领域：设δ是任一正数，则开区间(a – δ, a + δ)就是 a 的一个邻域，这个邻域称为点 a 的δ邻域，记作 U(a, δ)，即

U(a, δ) = {x|a – δ < x < a + δ}

点 a 称为这个邻域的中心，δ称为这个邻域的半径。

由于 a – δ < x < a + δ ⇔ |x – a| < δ

由于 a – δ < x < a + δ ⇔ |x – a| < δ

因此 U(a, δ) = {x|a – δ < x < a + δ} ⇔ U(a, δ) = {x||x – a| < δ}

U(a, δ)表示与点 a 距离小于δ的一切 x 的全体

• 去心邻域：U_δ(a) = {x|0 < |x – a| < δ}
• 左δ邻域：(a-δ, a)
• 右δ邻域：(a, a+δ)

机器学习中集合的应用

• 实例的集合
• 候选假设的集合
• 训练样例的集合

映射与函数

映射

映射的定义

定义：

• 设 X, Y 是两个非空集合，如果存在一个法则 f
• 使得对 X 中每个元素 x，按法则 f，
• 在 Y 中有唯一确定的元素 y 与之对应，
• 则称 f 为从 X 到 Y 的映射，记作：f:X → Y。
• 无素 y 称为 x 的像，元素 x 称为元素y 的一个原像。

定义域：集合 X称为映射 f 的定义域，记作 D_f，即D_f = X

值域：X 中所有元素的像组成的集合称为映射 f 的值域，记作R_f 或 f(X)，即

R_f  = f(X) = {f(x)|x \(\in\) X}

映射三要素

• 集合 X，即定义域D_f = X
• 集合 Y，即值域的范围，R_f \(\subset\) Y
• 对应法则 f，使用每个x \(\in\) X，有唯一确定的 y = f(x)与之对应

注意

• 对每个 x ∈ X，元素 x 的像y 是唯一的
• 而对每个 y ∈ R_f，元素 y 的原像不一定是唯一的
• 映射 f 的值域R_f是 Y 的一个子集，即R_f \(\subset\) Y，不一定R_f = Y

例题

例 设 f:R → R，对每个 x ∈ R，f(x) = x²

解：显然，f 是一个映射，f 的定义域D_f = R,

值域R_f = {y|y ≥ 0}，它是 R 的一个真子集，

对于R_f中的元素y，它的原像不是唯一的。如 y =4的像就有 x = 2和 x = -2两个。

例 设 f:\([-{\pi\over2},{\pi\over2}]\) → [-1,1]，对每个 x ∈ \([-{\pi\over2},{\pi\over2}]\)，f(x) = sinx。

解：显然，f 是一个映射，f 的定义域D_f = \([-{\pi\over2},{\pi\over2}]\)，值域R_f  = [-1,1]。

• 满射：R_f = Y
• 单射：∀x₁,x₂ ∈ X，x₁ ≠ x₂，有 f(x₁) ≠ f(x₂)
• 一一映射：满射+单射

函数的概念

函数的定义

• 设数集 D \(\subset\) R，则称映射 f: D → R 为定义在 D 上的函数，通常简记为y=f(x), x ∈ D,
• 其中 x 称为自变量，y 称为因变量，D 称为定义域，记作D_f，即D_f = D。

函数的概念

• 函数值：对于每个x ∈ D，按对应法则 f，总有唯一确定的值 y与之对应，这个值称为函数 f 在 x 处的函数值，记作 f(x)。
• 函数关系：因变量 y 与自变量 x 之间的这种依赖关系称为函数关系。
• 值域：函数值 f(x)全体构成的集合称为函数 f 的值域，记作R_f或f(D)。

函数的两要素

• 定义域与对应法则

函数的定义域

函数的定义域

• 有实际意义背景的函数，根据实际背景中变量的实际意义确定。
  例：自由落体运行\(s = {1\over2}gt^2, t\in[0,T]\)
• 抽象的用算式表达的函数，其定义域是自变量所能取的使用算式有意义的一切实数值。
  例：\(y = \sqrt{1-x^2}\) D:[-1,1]
  \(y = {1\over\sqrt{1-x^2}}\)  D:(-1,1)

函数的图形表示方法

• 坐标平面上的点集{P(x,y)|y = f(x),x ∈ D}，称为函数 y=f(x)，x ∈ D的图形。

特殊函数举例

• 符号函数
  $$y = sgn\ x = \begin{cases}
  1\ \ \ \ 当 x>0\\
  0\ \ \ \ 当 x=0\\
  -1\ 当 x<0
  \end{cases} $$
• 取整函数（阶梯曲线）
  y = [x], [x]表示不超 x 的最大整数
• 取最值函数
  y = max{f(x), g(x)}
  y = min{f(x), g(x)}
• 分段函数
  在自变量的不同变化范围中，对应法则用不同的式子来表示的函数，称为分段函数
  $$f(x) =\begin{cases}
  2x – 1, x > 0\\
  x^2 – 1, x \leq 0
  \end{cases} $$

例题

例 已知函数\(y = f(x) =\begin{cases}
2 \sqrt x,\ 0 \geq x \leq 1\\
1 + x,\ x > 1
\end{cases}\) 求\(f({1\over2})\)及\(f({1\over t})\)，求写出定义域及值域。

解： \(f({1\over t})=2\sqrt{1\over2}=\sqrt2\)

\(y = f(x) =\begin{cases}
1 + {1\over t},\ 0 < t < 1\\
{2 \over \sqrt t},\ t \geq 1
\end{cases}\)

定义域：D = [0, +∞)

值域：f(D) = [0, +∞)

函数的特性

函数的有界性

• 若 X ⊂ D，∃M > 0，∀x ∈ X，有|f(x)| ≤ M 成立，则称函数 f(x)在 X 上有界，否则称无界。

函数的单调增加性

函数的单调增加性

• 设函数 f(x)的定义域为 D，区间 I ⊂ D，
• 如果对于区间 I 上任意两点 x₁及 x₂，
• 当 x₁ < x₂时，恒有 f(x₁) < f(x₂)，

则称函数 f(x)在区间 I 上是单调增加的。

 

函数的单调减少性

• 设函数 f(x)的定义域为 D，区间 I ⊂ D，
• 如果对于区间 I 上任意两点 x₁及 x₂，
• 当 x₁ < x₂时，恒有 f(x₁) > f(x₂)，

则称函数 f(x)在区间 I 上是单调减少的。

 

函数的奇偶性

• 设 D 关于原点对称。
• 对于∀x ∈ D，有f(-x) = f(x)，

则称函数 f(x)为偶函数。

 

• 设 D 关于原点对称。
• 对于∀x ∈ D，有f(-x) = -f(x)，

则称函数 f(x)为奇函数。

 

函数的周期性

• 设函数 f(x)的定义域为 D，如果存在一个不为零的数 l,使用对于任一x ∈ D, (x ± l) ∈ D，且 f(x+l) = f(x)恒成立，则称 f(x)为周期函数，l 称为 f(x)的周期。

通常说周期函数的周期是指其最小正周期。

初等函数

• 幂函数 y = x^µ（µ是常数）
  

• 指数函数 y = a^x（a > 0，且 a ≠ 1）
  

• 对数函数 y = log_ax（a > 0且 a ≠ 1），当 a = e 时，记为 y = lnx。
  

三角函数

• 正弦函数 y = sin x
  

• 余弦函数 y = cos x
  

• 正切函数 y = tan x
  

• 余切函数 y = cot x
  

机器学习中的应用

• 概念学习：从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。
• 目标概念：Aldo 进行水止上运动的日子，表示为布尔函数 EnjoySport
• 任务目的：基于某天的各属性，预测 EnjoySport 的值
• 给定一个样例集 D：每个样例表示为6个属性的集合

 

概念学习

表3-1 目标概念 EnjoySport 的训练样例

Example	Sky	AirTemp	Humidity	Wind	Water	Forecast	EnjoySport
1	Sunny	Warm	Normal	Strong	Warm	Same	Yes
2	Sunny	Warm	High	Strong	Warm	Same	Yes
3	Rainy	Cold	High	Strong	Warm	Change	No
4	Rainy	Warm	High	Strong	Cool	Change	Yes

• 采取何种形式表示假设（目标函数的表示）
• 一个简单的形式，实例的各属性约束的合取式
• 令每个假设为6个约束（或变量）的向量，每个约束对应一个属性可取值范围，为
  • ？任意本属性可接受的值
  • 明确指定的属性值（如 AirTemp 中的 warm）
  • ø不接受任何值

随堂例题

假设的例子

• 为判定 Aldo 只在寒冷和潮湿的日子进行水上运动：
  <?,Cold,High,?,?,?>
• 最一般的假设是每一天都是正例，<?,?,?,?,?,?>
• 最特殊的假设是每一天都是反例，<ø,ø,ø,ø,ø,ø>

 

概念学习任务描述

• 实例的集合
• 实例集合上的目标函数
• 候选假设的集合
• 训练样例的集合

 

EnjoySport 概念学习任务

实例集 X：可能的日子，每个日子由下面的属性描述

• Sky：可取值为 Sunny, Cloudy, Rainy
• AirTemp：可取值为 Warm 和 Cold
• Humidity：可取值为 Normal 和 High
• Wind：可取值为 Strong 和 Weak
• Water：可聚会为 Warm 和 Cool
• Forecast：可取值为 Same 和 Change

目标概念

• 目标概念 c：待学习的目标概念或函数（target concept），记作 c，一般来说 c 可以是定义在实例集 X 上的任意布尔函数，即 c:X → {0,1}
• 此例为 EnjoySport：x → {0,1}
• EnjoySport=Yes，c(x)=1
• EnjoySport=No，c(x)=0

 

训练样例集合

• 训练样例集合 D：每个样例 X 中的一个实例 x 以及它的目标概念值 c(x)
• 目标函数的正例（positive example）：c(x) = 1
• 目标函数的反例（negative example）：c(x) = 0
• 描述训练样例的方式：序偶< x, c(x) >

 

假设集

• 假设集 H：每个假设描述为六个属性 Sky、AirTemp、Humidity、Wind、Water 和 Forecase的值约束的合取。
• 求解：H 中的一般假设 h，使得对于 X 中的任意 x，有 h(x) = c(x)

数列极限

数列与数列极限

割圆术

“割之弥细，所失弥少，割之又割，以至于不可割，则与圆周合体而无所失矣”

-刘徽

利用圆内接正多边形来推算圆面积的方法，是极限思想在几何学上的应用！

• • 正六边形的面积 A₁
  • 正十二边形的面积 A₂
    … …
  • 正6×2^n-1形的面积 A_n

A₁,A₂,A₃,…,A_n,…  → S

截杖问题

 

收敛数列的性质

随堂练习

函数极限

函数极限概念

函数极限例题与单侧极限

函数极限的性质

章总结

随堂练习

无穷小与无穷大

无穷小

无穷大

章总结

随堂练习

 

极限运算

极限运算法则

极限运算法则（例题）

极限存在准则

无穷小的比较

章总结

随堂练习

 

函数的连续性与间断点

函数的连续性

函数的第一类间断点

函数的第二类间断点

章总结

随堂例题

 

导数与微分

导数的概念

导数的概念(幂函数求导-单侧导数-切线与法线方程)

函数的可导性与连续性

导数小结

 

函数的求导法则

复合函数的求导法则

常数和基本初等函数求导公式

高阶导数

高阶导数的运算法则

隐函数的导数

幂指函数求导

由参数方程确定的函数

函数的微分

微分运算法

 

微分中值定理与导数的应用

微分中值定理——罗尔定理

微分中值定理——拉格朗日中值定理

微分中值定理——柯西中值定理

洛必达法则00型未定式

洛必达法则——其他未定式

泰勒公式——泰勒中值定理

泰勒公式——麦克劳林公式

函数的单调性

曲线的凹凸性

函数极值的概念

函数极值的求法

函数的最大值最小值

函数图形的描绘

 

Credit：慕课网