自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

rosefun96的博客

深度学习、算法交流q群596506387。

原创 Lightgbm + LR代码实现

import numpy as np import matplotlib.pyplot as plt #生成用于分类的数据集 from sklearn.datasets.samples_generator import make_classification X,labels=make_clas...

2020-01-20 16:03:50 1089 0

原创 LeetCode11. 盛最多水的容器(双指针,java,python)

1 问题 给定 n 个非负整数 a1,a2,…,an,每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线,垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线,使得它们与 x 轴共同构成的容器可以容纳最多的水。 说明:你不能倾斜容器,且 n 的值至少为...

2020-01-18 21:37:48 89 0

原创 含绝对值损失函数的优化分析

1、问题 在深度学习中,定义的损失函数含绝对值,如MAE,会存在一阶导数不连续,这时候在不连续的点处该如何进行反向传播? 2、案例 绝对值函数求导 ddx∣u∣=u∣u∣⋅dudx \frac{d}{d x}|u|=\frac{u}{|u|} \cdot \frac{d u}{d x} dxd​∣...

2020-01-18 16:53:10 1064 3

原创 Spark安装及介绍

1.Spark介绍 并行处理大数据; 1.1 MapReduce 算法 矩阵向量相乘; 指数迭代; 随机梯度方法; 随机SVD; QR; 缺点: 1.数据共享的局限性; 不同步骤的产物在分布式文件系统; 复制和磁盘内存存储导致慢; 1.2Spark 计算引擎 分布式收集数...

2020-01-18 15:31:45 135 0

原创 梯度下降法及其优化算法(优化器Momentum,Adagrad,Adadelta,Adam)

1、动量 动量算法,目的是为了让SGD尽可能地跳出局部最优值。 vt=γvt−1+η∇θJ(θ)θ=θ−vt v_t = \gamma v_{t-1} + \eta \nabla_\theta J( \theta) \\ \theta = \theta - v_t vt​=γvt−1​...

2020-01-17 17:03:34 395 0

原创 参数优化方法(梯度下降、牛顿法、拟牛顿法、L-BFGS算法、共轭梯度法)

1 分类 梯度法,共轭梯度法,牛顿法,拟牛顿法,蒙特卡洛法、Steepest Descent(SD)、L-BFGS等参数优化方法。 参数优化目标 在机器学习中,在定义好损失函数好,希望通过参数优化,使得损失函数最小。 2 梯度下降法(最速下降法) 沿着梯度向量的方向,更加容易找到函数的最...

2020-01-17 16:51:21 676 0

原创 时间序列预测模型TBATS

1. TBATS简介 名字来源: Trigonometric seasonality, Box-Cox transformation, ARMA errors, Trend and Seasonal components. 模型使用季节性特征、Box-Cox转换、ARMA误差、趋势和季节组分。 2...

2020-01-16 15:20:45 963 0

原创 数学中几种积:点积(数量积/标量积/内积)、叉积(叉乘/向量积)、外积(张量积/Kronecker积)、哈达玛积(元素积)

1 点积 点积(dot product),又称数量积、标量积. 输入: 一种接受两个等长的数字序列(通常是坐标向量); 输出: 返回单个数字。 在欧几里几何空间中,向量的点积运算又称为内积。 表示 代数定义 推广 矩阵的点积/内积,为对应矩阵元素的积之和。 A,B是定...

2020-01-16 12:41:56 2047 0

原创 sklearn流型学习实现

from time import time import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from matplotlib.ticker import NullF...

2020-01-15 23:45:02 58 0

原创 科学计算方法:求取平方根5(python实现,梯度下降,二分法)

1 问题 求取根号5,并且满足精度小于10的负6次方。 2 方法 记 f(x)=x2−5f(x) = x^2-5f(x)=x2−5; 求取方程 等于0 的根。 方法一 二分法 不断维护left,rightleft, rightleft,right ,使得两者相乘小于0。 方法二:迭代法 根据泰勒展...

2020-01-10 23:58:59 562 0

原创 LeetCode213. 打家劫舍 II(Java,动态规划)

1.问题 你是一个专业的小偷,计划偷窃沿街的房屋,每间房内都藏有一定的现金。这个地方所有的房屋都围成一圈,这意味着第一个房屋和最后一个房屋是紧挨着的。同时,相邻的房屋装有相互连通的防盗系统,如果两间相邻的房屋在同一晚上被小偷闯入,系统会自动报警。 给定一个代表每个房屋存放金额的非负整数数组,计算你...

2020-01-10 15:24:58 70 0

原创 LeetCode152. 乘积最大子序列(Java,动态规划)

1.问题 给定一个整数数组 nums ,找出一个序列中乘积最大的连续子序列(该序列至少包含一个数)。 示例 1: 输入: [2,3,-2,4] 输出: 6 解释: 子数组 [2,3] 有最大乘积 6。 力扣(LeetCode); 2.解答 这是一个动态规划的问题, 从左到右进行遍历,并且维护包含...

2020-01-10 14:39:46 116 0

原创 LeetCode91. 解码方法(Java,动态规划)

1.问题 一条包含字母 A-Z 的消息通过以下方式进行了编码: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 给定一个只包含数字的非空字符串,请计算解码方法的总数。 示例 1: 输入...

2020-01-10 12:06:24 125 0

原创 Java类型转换(String转换成int, 强制转换)

1 String 转换为int String myString = "1234"; int foo = Integer.parseInt(myString); 参考: 1 stackoverflow how to convert string to int. ...

2020-01-10 10:44:57 174 0

原创 LeetCode63. 不同路径 II(动态规划,Java,python)

1.问题 一个机器人位于一个 m x n 网格的左上角 (起始点在下图中标记为“Start” )。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角(在下图中标记为“Finish”)。 现在考虑网格中有障碍物。那么从左上角到右下角将会有多少条不同的路径? 网格中的障碍物和空位置分别...

2020-01-09 12:15:43 56 0

原创 LeetCode62. 不同路径(Java,动态规划)

1.问题 一个机器人位于一个 m x n 网格的左上角 (起始点在下图中标记为“Start” )。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角(在下图中标记为“Finish”)。 问总共有多少条不同的路径? **说明:**m 和 n 的值均不超过 100。 示例 ...

2020-01-09 11:56:16 95 0

原创 SQL高级使用JOIN

1.类型 LEFT JOIN、RIGHT JOIN、INNER JOIN、OUTER JOIN SQL JOIN SQL JOIN 子句用于把来自两个或多个表的行结合起来,基于这些表之间的共同字段。 2.几种方式 LEFT ON SELECT * FROM A LEFT JOIN...

2020-01-09 09:52:32 48 0

原创 python 多重list初始化

正确: x = [[foo for i in range(10)] for j in range(10)] 错误: x = [[foo for i in range(10)]]*10 这样定义的list ,只要其中的某行发生改变,其他行的元素也会发生改变! 参考: How to initi...

2020-01-08 18:12:57 304 0

原创 SQL常用语句增删查改(7)

0.简介 使用 MySQL导入数据库中的数据库。 1.SELECT SQL从数据库中选取数据。 语法有: SELECT column_name,column_name FROM table_name; 或者: 选择全部列: SELECT * FROM table_name; ...

2020-01-08 14:15:33 64 0

原创 MySQL导入数据库(windows系统) (6)

1.下载数据库 在菜鸟教程中下载 websites.sql数据库; 2.导入数据库 方法一 # 启动MySQL net start MySQL # 进入MySQL mysql -u root -p mysql> create database websites mysq...

2020-01-08 11:10:20 52 0

原创 python提高运行效率方法

1.设置缓存 示例: from functools import lru_cache class Solution: @lru_cache(10**8) def climbStairs(self, n): """ :t...

2020-01-08 10:19:14 77 0

原创 LeetCode70. 爬楼梯(Java,动态规划,简单题)

1.问题 假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢? 注意:给定 n 是一个正整数。 示例 1: 输入: 2 输出: 2 解释: 有两种方法可以爬到楼顶。 1. 1 阶 + 1 阶 2. 2 阶 来源:力扣(Leet...

2020-01-08 10:13:23 48 0

原创 Leetcode53. 最大子序和(java,动态规划)

1. 问题 给定一个整数数组 nums ,找到一个具有最大和的连续子数组(子数组最少包含一个元素),返回其最大和。 示例: 输入: [-2,1,-3,4,-1,2,1,-5,4], 输出: 6 解释: 连续子数组 [4,-1,2,1] 的和最大,为 6。 进阶: 如果你已经实现复杂度为 O(n)...

2020-01-07 20:46:02 107 0

原创 python的SQL库SQLAlchemy(4)

1.简介 SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射(ORM)工具,使用MIT许可证发行。 SQLAlchemy“采用简单的Python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型”。 2 示例 插入数据: Sessi...

2020-01-07 20:00:40 102 0

原创 常用MySQL图形化管理工具(5)

1.PHPmyadmin 官网 看它免费,先用这个。 1.常用MySQL图形化管理工具

2020-01-07 19:42:41 4445 0

原创 SQL关系模型概念(2)

主键 不能重复不是指两条记录不完全相同,而是指能够通过某个字段唯一区分出不同的记录,这个字段被称为主键。 记录一旦插入到表中,主键最好不要再修改,因为主键是用来唯一定位记录的,修改了主键,会造成一系列的影响。 基本原则是:不使用任何业务相关的字段作为主键。 身份证号、手机号、邮箱地址这些看...

2020-01-07 17:04:00 67 0

原创 SQL学习:基本概念(1)

1.SQL是什么 SQL,指结构化查询语言,全称是 Structured Query Language。 SQL 是用于访问和处理数据库的标准的计算机语言。 这类数据库包括:MySQL、SQL Server、Access、Oracle、Sybase、DB2 等等。 RDBMS 指关系型数据...

2020-01-07 15:08:43 45 0

原创 推荐系统:排序算法(pointwise,pairwise,Listwise)

1. 概念 排序学习是机器学习在信息检索系统里的应用,其目标是构建一个排序模型用于对列表进行排序。 2. 排序方法 2.1 Pointwise 方法 Pointwise方法是通过近似为回归问题解决排序问题,将每个查询-文档对的相关性得分作为实数分数或者序数分数,训练排序模型。预测时候对...

2020-01-07 14:58:05 541 0

原创 推荐系统中CTR排序模型汇总(LR,GBDT,FM,FFM,MLR,Deep and wide,Deep and cross,deepFM,XDeepFM,PNN,NFM,AFM)

1.CTR ctr, click through rate,广告被点击次数 / 广告显示次数。 2. CTR 传统预估模型 CTR预估模型公式:y=f(x)y = f(x)y=f(x), y∈[0,1]y \in [0, 1]y∈[0,1], 表示广告被点击的概率。 2.1 LR LR,...

2020-01-06 20:20:08 1500 0

原创 搜索引擎工作原理

1.工作原理 搜索引擎输入关键词返回搜索列表的过程? 《你刚才在淘宝上买了一件东西》: 在首页搜索框中输入“毛衣”二字并按回车键,这时你又产生了一个PV,然后,淘宝网的主搜索系统便开始为你服务,它首先对你输入的内容基于一个分词库进行分词操作。众所周知,英文是以词为单位的,词和词之间靠空格隔开,...

2020-01-06 20:00:26 176 0

原创 加快深度神经网络学习的方法

1. 使用优越的优化器 如下图所示,Adagrad 比 SGD 优化速度更快。 2. BatchNormalization层 批标准化 Batch Normalization 参考: Alec Radford’s animations for optimization algorithms;...

2020-01-06 16:07:53 277 0

原创 多重共线性处理方法

1.多重共线性 自变量(解释变量)之间彼此相关的现象,我们称这种现象为多重共线性。 2.解决方法 手动移除出共线性的变量 先做下相关分析,如果发现某两个自变量X(解释变量)的相关系数值大于0.7,则移除掉一个自变量(解释变量),然后再做回归分析。此方法是最直接的方法,但有的时候我们不希望把某个...

2020-01-06 15:36:10 544 0

原创 【坑】最大熵模型

1、最大熵模型 2、最优化算法 最大熵模型归结为,使用似然函数为目标函数的最优化问题。 最优化问题,往往使用,迭代尺度法,梯度下降法,牛顿法,拟牛顿法等。 3.1改进的迭代尺度算法IIS 思路:求似然对数函数的值,然后以ω=ω+δ来更新参数变量ω,重复求似然对数函数,直到找到最大值为止。 技巧:直...

2020-01-06 15:24:29 45 0

原创 Leetcode226. 翻转二叉树(Java,python)

1.问题描述 翻转一棵二叉树。 示例: 输入: 4 / \ 2 7 / \ / \ 1 3 6 9 输出: 4 / \ 7 2 / \ / \ 9 6 3 1 力扣...

2020-01-06 14:06:11 81 0

原创 L1正则化和L2正则化

1.范数定义 p范数: 1范数: 相应的L1正则项: 以矩阵www 为例: ∑i=1k∣wi∣ \sum_{i=1}^k|w_i| i=1∑k​∣wi​∣ 2范数: 相应的L2正则项: ∑i=1kwi2 \sum_{i=1}^k w_i^2 i=1∑k​wi2​...

2020-01-05 17:18:48 81 0

原创 Pytorch clamp修剪数据

torch.clamp(input, min, max, out=None) → Tensor Clamp all elements in input into the range [ min, max ] and return a resulting tensor: 参考: torch cl...

2020-01-02 15:17:24 110 0

原创 Pytorch probability distributions

1.OneHotCategorical torch.distributions.one_hot_categorical.OneHotCategorical(probs=None, logits=None, validate_args=None) 根据给定的概率probs, 创建一个 one-hot...

2020-01-02 15:04:38 248 0

原创 Pytorch argmax

1.argmax torch.argmax(input, dim, keepdim=False) → LongTensor 返回指定维度的最大值的索引。 2.示例 b = torch.randn(4, 5) torch.argmax(b, dim=0) Output: # b tensor([[...

2020-01-02 14:47:41 678 0

原创 Pytorch stop_gradient

1.var.detach() detach(): 返回一个新的Tensor,并且不需要计算梯度。 Returns a new Tensor, detached from the current graph. 这里的 var 是指一个tensor。 2. var.requires_gr...

2020-01-02 14:30:16 925 0

原创 Pytorch 实现tf.gather()

1. 实现tf.gather 在pytorch中,实现 tf.gather 很简单,只需要使用 select。 select(dim, index) → Tensor 比如, import numpy as np a = np.array([[1],[2],[3],[4],[5]]) b = to...

2020-01-02 11:39:13 849 0

提示
确定要删除当前文章?
取消 删除