2018年01月_rosefun96的博客_rosefunR

12月 11月 03月 02月 01月

原创 python入门系列(26): python yield from介绍

1、yield fromdef gen(): for c in 'AB': yield c for i in range(1, 3): yield ilist(gen())['A', 'B', '1', '2']可以改写成：def gen(): yield from 'AB' yield from range

2018-01-31 21:07:03 259

原创 (坑）数据库redis介绍

1、简介数据库常用的是MySQL，但在爬虫的时候，会看到有些人会使用redis。维基的介绍是，redis是一种键值对存储数据库。 Redis是一个使用ANSI C 编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库。从2015年6月开始，Redis的开发由Redis Labs赞助，而2013年5月至2015年6月期间，其开发由Pivotal赞助。[1]在2013年5月之前

2018-01-30 14:40:42 390

原创 python asyncio使用

1、简介 Python的在3.4中引入了协程的概念，可是这个还是以生成器对象为基础，3.5则确定了协程的语法。下面将简单介绍asyncio的使用。实现协程的不仅仅是asyncio，tornado和gevent都实现了类似的功能。2、使用2.1定义一个协程import timeimport asyncionow = lambda : time.time()as

2018-01-30 14:25:54 858

原创 python 网站APP实战

1.网页上显示Awesomeimport logging; logging.basicConfig(level=logging.INFO)import asyncio, os, json, timefrom datetime import datetimefrom aiohttp import webdef index(request): return web.Res

2018-01-29 22:35:36 559

原创 python入门系列(25): python类属性和实例属性

1、属性>>> class Student(object): count=0 def __init__(self,name): self.name=name Student.count=Student.count+1>>> a=Student('a')>>> print(Student.count)1>>> b=Student('

2018-01-29 21:44:02 149

原创 python入门系列(24): python子类继承父类及初始化

1、实现有点时候，我们需要继承父类的初始化的值。python实现为class A: def __init__(self): self.x = 0class B(A): def __init__(self): super().__init__() self.y = 1super().init()参考： 1

2018-01-29 20:54:57 7101

原创 python 日志logging模块的使用

1、简介import loggingfrom scrapy.utils.log import configure_loggingconfigure_logging(install_root_handler=False)logging.basicConfig( filename='log.txt', format='%(levelname)s: %(message)s

2018-01-29 20:31:03 1183

原创 Python3爬虫（3）:爬虫框架Scrapy基础使用

1.使用中遇到的问题1.1、Scrapy: AttributeError: ‘list’ object has no attribute ‘iteritems’参见：stackoverflow答案简单的说，就是把setting.py中换成：ITEM_PIPELINES = { 'myproject.pipelines.PricePipeline': 300, '

2018-01-29 18:23:18 287

原创 MySQL基本使用(4)

1、简介MySQL 是一个开放源代码的关系数据库管理系统。2、使用在下载完MySQL之后，一般都要新增ini格式的配置文件，参考链接1；其中，需要注意的是：使用管理员命令行进行操作；一开始是没有密码，只需要按entry键即可进入。然后，自己设置密码password。同时，MySQL针对python有GUI交互界面，但目前只有py2.7，没有py3的版本，这个可以到网站下

2018-01-28 22:14:17 198

原创 SQL(MySQL)数据库语言学习系列(3): 安装MySQL、MySQLdb

1、简介MySQL：一个开放源代码的关系数据库管理系统. MySQL在过去由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，因此被广泛地应用在Internet上的中小型网站中。随着MySQL的不断成熟，它也逐渐用于更多大规模网站和应用，比如维基百科、Google和Facebook等网站。现在MySQL唯一免费版本是社区版（community）。MySQL驱动，主

2018-01-28 17:02:28 3900

原创 python爬取新闻常用包newspaper

1、引言python爬取新闻常用的是newspaper。python3安装：pip3 install --ignore-installed --upgrade newspaper3k安装的时间略长。2、使用newspaper的包好难用啊，各种出现bug，已弃疗。3.其他包pip3 install scrapy参考：Automatic-news-

2018-01-28 15:04:59 3349

原创中文分词jieba

1、jieba简介jieba是基于python的开源中文分词项目。jieba分词的数据来源人民日报的切分语料等，这个参考链接2原作者的介绍。来源主要有两个，一个是网上能下载到的1998人民日报的切分语料还有一个msr的切分语料。另一个是我自己收集的一些txt小说，用ictclas把他们切分（可能有一定误差）。然后用python脚本统计词频。2、jieba思想要统

2018-01-27 11:23:22 4669

原创 (坑)神经网络语言模型NNLM模型

参考：NNLM模型；licstar.net；神经网络语言模型

2018-01-26 22:46:24 6360

原创 medium hosts

1、引言最近想看几篇深度学习的网站，但好像medium最近被封了，只能通过hosts来解决2、hosts# Medium Start104.16.120.127 medium.com104.16.120.145 api.medium.com104.16.120.145 cdn-static-1.medium.com104.16.120.145 cdn-images-

2018-01-25 22:30:37 1644 6

原创 Hinton胶囊论文疑问

1、概念首先，capsule是一组神经元（这里一组和一层神经网络有区别吗？）好像一组神经元是一层分割而成。比较有趣的是，使用活动量（activity vector）的长度来表征存在的概率（所以，这是，具有【0，1】长度的向量）。向量方向表示实例化参数（有个疑问，方向是指0-360度？这样方向具有周期性？）而且，这个capsule具有多个级别，更高级别capsule更活跃。论文中，提

2018-01-25 17:10:23 4364

原创 visual studio配置

1、主题配置这个看链接3的主题配置，下载一个。2、快捷键和字体配置visual studio可以使用consolas.快捷键对注释、编辑启动、删除行等功能进行了设置。参考： 1. 快捷键配置； 2. 写代码用哪种字体看起来最舒适？; 3. 主题配置

2018-01-25 16:34:19 237

原创 opencv读取摄像头图像

1、opencv 读取摄像头信息使用visual studio开发工具//******************** //打开摄像头 //******************** //#include"stdafx.h" #include #include int main() { cv::VideoCapture capture(0); /*

2018-01-24 12:54:56 1394

原创数据结构:单链表

1、描述单链表描述：typedef char DataType; //假设结点的数据域类型为字符 typedef struct node{ //结点类型定义 DataType data; //结点的数据域 struct node *next;//结点的指针域 }ListNode; typedef ListNode *LinkList;

2018-01-23 17:43:56 163

原创 (坑)局部加权模型LOESS

1、理论目前CSDN关于局部加权模型的文章基本都是斯坦福机器学习的课的内容，资料很少。但是加权局部模型可以解决一些比较复杂的数据，比如通过变换仍然不是高斯分布的情形，缺点是，运行时间很长，对每一个输出都进行构建一个模型。目前改进的局部加权模型，应该是各种树模型，其实，树模型应该也相当于进行了局部建模。此外，局部加权模型也会存在过拟合和欠拟合的情况。2、python实现具体看

2018-01-19 16:52:47 2544

原创超参数快速获得的处理方法

1、gridsearchCV使用网络搜索方法：2、贝叶斯优化网络搜索知乎；超参数调参方式；

2018-01-18 22:34:40 434

原创 xgboost、random forest等模型调参小结

1、关于调参调参是模型适应不同数据集的一个优化过程，如果只是建立了模型，而不对参数进行调整，是很不合理的。2、xgboost调参3、网络调参from sklearn.metrics import fbeta_score, make_scorer,r2_scorefrom sklearn.model_selection import GridSearchCVcv = K

2018-01-18 12:31:19 940

原创 python splinter基本操作

1、实现from splinter import Browser# from xvfbwrapper import Xvfbfrom selenium.webdriver.chrome.options import Options# 由于是在server上运行chrome，所以必须用一些模拟器# vdisplay = Xvfb()# vdisplay.start()# 这些设置

2018-01-17 20:58:44 4100 9

原创 seaborn distplot 用法

1、使用import seaborn as sns,numpy as npsns.set()np.random.seed(0)x=np.random.randn(100)ax=sns.distplot(x)reference:seaborn tutorials

2018-01-16 20:13:15 5426

原创 SciPy stats

Python有一个很好的统计推断包。那就是scipy里面的stats。 Scipy的stats模块包含了多种概率分布的随机变量，随机变量分为连续的和离散的两种。所有的连续随机变量都是rv_continuous的派生类的对象，而所有的离散随机变量都是 rv_discrete的派生类的对象。 This module contains a large number of probability d

2018-01-16 19:18:06 2228

原创 python skimage图像处理

1、skimageskimage是scikit下的一个包，一般安装好scikit，就可以调用。2、简单示例from skimage import data, io, filtersimage = data.coins()# ... or any other NumPy array!edges = filters.sobel(image)io.imshow(edges)io.show()#sk

2018-01-15 11:01:51 991

原创机器学习实战 k-近邻算法及python实现

1、实现'''Created on Sep 16, 2010kNN: k Nearest NeighborsInput: inX: vector to compare to existing dataset (1xN) dataSet: size m data set of known vectors (NxM) labels: data

2018-01-14 22:31:14 178

原创 Numpy数组array和矩阵matrix相互转换

1、ndarray转换成matriximport numpy as npfrom numpy import random,matr_arr=random.rand(4,4)print('r_arr',r_arr)r_mat=mat(r_arr)print(r_mat.I)#求逆运行结果：r_arr [[ 0.65603592 0.39908438 0.44722351 0.926527

2018-01-14 21:44:38 32787 3

原创机器学习实战第一章---绪论

1、机器学习监督学习：k-近邻算法；线性回归；朴素贝叶斯算法；局部加权线性回归；支持向量机；ridge回归；决策树；lasso最小回归系数估计无监督学习：K-均值；最大期望值；DBSCAN；Parzen窗设计

2018-01-14 21:28:37 157

原创 [坑]基于局部学习的高维数据特征选择

1、引言别人看论文，写出一篇心得，我看论文，就看了几个术语，差距啊。。。。2、应用最近，想用局部学习应用到软测量中，有空再实现一下。参考：基于局部学习的特征选择：Local-Learning-Based Feature Selecti

2018-01-12 14:45:38 787

原创 python函数图像绘制

1、实现import matplotlib.pyplot as pltimport mathimport numpy as npplt.figure(1)x=[]y=[]a=np.linspace(0,10,100)for i in a: x.append(i) y.append(10 * math.sin(5 * i) + 7 * math.cos(4 * i))plt.p

2018-01-11 20:26:44 8173

原创 python遗传算法的实现

1、遗传算法编码 -> 创造染色体个体 -> 种群适应度函数遗传算子选择交叉变异运行参数是否选择精英操作种群大小染色体长度最大迭代次数交叉概率变异概率个人理解的遗传算法，给定一个种群（元素），然后让这些元素相互组合，允许每次发生小的改变，并且，在适应度函数的选择下（相当于目标函数？），

2018-01-10 22:32:04 1420

原创 python 自动机器学习库TPOT

1、引言TPOT库（Tree-based Pipeline Optimisation Technique，树形传递优化技术），该库基于scikit-learn库建立。2、参考：TPOT GITHUB

2018-01-10 19:20:07 2108

原创 python入门系列(23): python 多线程及多进程

引言subprocess的作用：执行一个外部命令并以Python字符串的形式获取执行结果。1、遇到问题 [WinError 2] 系统找不到指定的文件。有建议说，更改 subprocess.py脚本，将对应行加上shell=true 参数。还没有尝试。python subprocess;subprocess管理子进程；Python FileNotFoundError: [WinErr

2018-01-10 15:11:18 247

原创 python数据可视化包 seaborn

引言python数据可视化的包有很多，目前使用了matplotlib，现在想尝试seaborn。 Seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易，在大多数情况下使用seaborn就能做出很具有吸引力的图，而使用matplotlib就能制作具有更多特色的图。应该把Seaborn视为matplotlib的补充，而不是替代物。参考：数据

2018-01-10 15:07:19 365

原创 python 图形用户界面GUI编写

引言GUI实现的模块： Tkinter： Tkinter 模块(Tk 接口)是 Python 的标准 Tk GUI 工具包的接口 .Tk 和 Tkinter 可以在大多数的 Unix 平台下使用,同样可以应用在 Windows 和 Macintosh 系统里。Tk8.0 的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中。 wxPython：wxPython 是一款

2018-01-07 10:23:16 6902

原创 python入门系列(22): python enumerate函数

1、示例rbmlayer=[10,15,3]for i,j in enumerate(rbmlayer): print('i:',i) print('j:',j)运行结果i: 0j: 10i: 1j: 15i: 2j: 3

2018-01-06 19:53:32 176

原创 TensorFlow 的Tensor运算

1 Tensorflow 和numpy区别相同点：都提供n位数组不同点：numpy支持ndarray，而Tensorflow里有tensor；numpy不提供创建张量函数和求导，也不提供GPU支持。显示Tensor 需要加eval函数ta = tf.zeros((2,2))print(ta)#Tensor("zeros_1:0", shape=(2, 2), dtyp

2018-01-06 10:54:30 298

原创 python实现归一化和标准化

参考：数据预处理

2018-01-05 17:30:40 16695

原创 TensorFlow DBN深度信念网络搭建2

1、改进1：层数改变通过修改rbm的层数，可以看到重构误差是变小了，但是，我发现只是修改rbm，并没有影响到最终的accuracy，而且更加诡异的是，这个accuracy，只从我修改了数据集以来，无论怎么修改，都是同一个数，0.391999，即使是同一个数据集，多次运行，结果也不可能一直不变的。因此，针对数据不变，也许是我的突破点。'rbm_layers', '52,80,52,3

2018-01-05 15:43:04 4371 3

原创 python 数据类型list、dict、numpy array、series、dataframe之间的转换

0、引言dataframe是pandas的数据类型；ndarray是numpy的数据类型；list和dict是python的数据类型；series是pandas的一种数据类型，Series是一个定长的，有序的字典，因为它把索引和值映射起来了。通过以下例子，可以更加清楚它们的数据表示。1、list to others# listdata = [[2000, 'Ohino', 1.5],

2018-01-04 14:03:33 40834 5

生成对抗网络画猫python

使用对抗神经网络来画猫.pptx；以及对应的生成对抗网络代码。使用对抗神经网络来画猫.pptx；以及对应的生成对抗网络代码。使用对抗神经网络来画猫.pptx；以及对应的生成对抗网络代码。

2018-12-25

python程序设计(浙江大学).rar

python程序设计PPT（浙江大学python课件）对应慕课该课程PPT。包含9章内容： python语言介绍；语句；字符串，列表，元组；集合，字典；函数，命名空间和作用域；文件读写操作； Web应用；网络爬虫；等

2020-10-22

深度卷积生成对抗网络TensorFlow代码实现

Tensorflow implementation of [Deep Convolutional Generative Adversarial Networks](http://arxiv.org/abs/1511.06434) which is a stabilize Generative Adversarial Networks.

2018-12-25