1 min read

学习笔记:Python 学习的流水笔记

学习笔记 系列导航

1 Hive/Impala 学习笔记 2017-12-04
2 KS 学习笔记 2017-12-06
3 datacamp pandas DataFrames 学习笔记 2017-12-11
4 datacamp pandas Merging DataFrames 学习笔记 2017-12-13
5 Databases in Python 学习笔记 2017-12-14
6 Data Visualization with Python 学习笔记 2017-12-16
7 Exploratory data analysis in Python 学习笔记 2017-12-17
8 Statistical Thinking in Python (Part-2) 学习笔记 2017-12-18
9 list comprehensions in Python 学习笔记 2017-12-19
10 无监督学习:Unsupervised Learning in Python 学习笔记 2017-12-20
11 学习笔记:Deep Learning in Python 学习笔记 2017-12-22
12 学习笔记:Network Analysis in Python Part 1 学习笔记 2017-12-27
13 学习笔记:XGBoost using Python 学习笔记 2017-12-28
14 学习笔记:Supervised Learning with scikit-learn 学习笔记 2017-12-30
15 学习笔记:Boosting理论部分 学习笔记 2018-01-02
16 学习笔记:Machine Learning with the Experts School Budgets 学习笔记 2018-01-02
17 学习笔记:犯罪心理解析 2018-01-02
18 学习笔记:决策树理论部分 学习笔记 2018-01-03
19 学习笔记:Shell 学习笔记 2018-01-04
20 学习笔记:客户价值定价 学习笔记 2018-01-04
21 学习笔记:Introduction to Git for Data Science 学习笔记 2018-01-06
22 学习笔记:线性代数 整理笔记 2018-01-08
23 学习笔记:退火算法 学习笔记 2018-01-09
24 学习笔记:Fahrenheit 911 视频笔记 2018-01-18
25 学习笔记:pandas debugging 学习笔记 2018-01-19
26 学习笔记:brilliant.org概率论导论 学习笔记 2018-01-22
27 学习笔记:Machine Learning with Tree-Based Models in R 学习笔记 2018-01-22
28 学习笔记:Building Web Applications in R with Shiny 学习笔记 2018-01-25
29 学习笔记:Inference for Numerical Data 学习笔记 2018-01-26
30 学习笔记:Support Vector Machines SVM 学习笔记 2018-01-26
31 学习笔记:Introduction to DataCamp Projects 学习笔记 2018-01-28
32 学习笔记:Working with Web Data in R 学习笔记 2018-01-28
33 学习笔记:三种平均数使用的方式 学习笔记 2018-01-29
34 学习笔记:戒律的复活 每周六更新 2018-01-29
35 学习笔记:Communicating with Data in the Tidyverse 学习笔记 2018-01-31
36 学习笔记:Kaggle R Tutorial on Machine Learning 学习笔记 2018-02-01
37 学习笔记:Kaggle Python Tutorial on Machine Learning 学习笔记 2018-02-02
38 技术:ggridges 山峦图 学习笔记 2018-02-02
39 技术:XGBoost 学习笔记 2018-02-02
40 学习笔记:圆桌派 第三季 视频笔记 2018-02-05
41 学习笔记:基础与技巧整理 2018-02-25
42 集成学习R SuperLearner包学习笔记 2018-03-04
43 学习笔记:英语学习积累:词汇、表达与语法整理 2018-04-09
44 技术:原理与应用学习笔记 2018-04-29
45 学习笔记:魏剑峰英语学习笔记:表达与语法整理 2018-05-02
46 技术:方法与实践学习笔记 2018-05-12
47 无监督学习:主成分分析(PCA)原理与实现学习笔记 2018-05-17
48 技术:特征筛选学习笔记 2018-05-29
49 学习笔记:Planet Money播客学习笔记:经济学话题解析 2018-06-05
50 基础算法系列梯度下降算法详解:原理与优化学习笔记 2018-07-11
51 技术:统计建模学习笔记 2018-07-24
52 技术:指标设计学习笔记 2018-09-20
53 技术:安装与使用基础学习笔记 2018-11-07
54 📈 ggplot 设计思路 学习笔记 2019-12-26
55 🧩 Python 函数编写学习笔记 2019-12-31
56 技术:特征工程之目标编码学习笔记 2020-01-20
57 📚 词向量 学习笔记 2020-07-04
58 主题模型:学习笔记 2020-07-04
59 学习笔记:WSJ 学习笔记 2020-10-19
60 健身:学习笔记 2025-08-19

Python 中 ‘unicodeescape’ codec can’t decode bytes in position XXX: trun错误解决方案 - CSDN博客

解决方案是路径前面加r,如 r'xxx'

在R中还没有找到方案,只能用替换了,把那些\替换成/

Help 功能

jupyter支持tab键代码自动补全,但是是杨修。 如果想查询某些函数的具体帮助信息,可以使用?关键字。

import numpy as np
np.rank?

决策树环节importances排序问题

ddd = pd.concat([pd.DataFrame(X_train.columns), pd.DataFrame(importances)], axis = 1)
ddd.columns = ["name", "imp"]
ddd.sort_values(by=["imp"],ascending = False)["imp"].sum()

验证了,

pd.DataFrame(X_train.columns)pd.DataFrame(importances)的index相同,因此直接concat 注意,列并,所以axis=1 然后改变变量名称,用.columns = []。 用sort_values排序。 .sum()验证了,这个权重和为1。 因此这个从高到低排序,看哪部分变量衰减最多,去那个点之前的地方进行阈值选取。


np.argsort()的解释

例如x = [1,4,3,−1,6,9], 对应的indexx = [0,1,2,3,4,5]。 因此x[3] = -1是最小值。 如果设y=np.argsort(x)后, x便sort后为[−1,1,3,4,6,9], 因此y[0]代表最小值-1x中的indexx = 3。 解释完毕。

python导入自己包的技巧

在Python中,一个.py文件就称之为一个模块(Module)。

请注意,每一个包目录下面都会有一个__init__.py的文件, 这个文件是必须存在的,否则,Python就把这个目录当成普通目录,而不是一个包。 __init__.py可以是空文件,也可以有Python代码,因为__init__.py本身就是一个模块,而它的模块名就是mycompany。

文件www.py的模块名就是mycompany.web.www,两个文件utils.py的模块名分别是mycompany.utilsmycompany.web.utils

import sys
sys.path

返回结果:

['',
 'C:\\ProgramData\\Anaconda3\\python36.zip',
 'C:\\ProgramData\\Anaconda3\\DLLs',
 'C:\\ProgramData\\Anaconda3\\lib',
 'C:\\ProgramData\\Anaconda3',
 'C:\\ProgramData\\Anaconda3\\lib\\site-packages',
 'C:\\ProgramData\\Anaconda3\\lib\\site-packages\\Babel-2.5.0-py3.6.egg',
 'C:\\ProgramData\\Anaconda3\\lib\\site-packages\\win32',
 'C:\\ProgramData\\Anaconda3\\lib\\site-packages\\win32\\lib',
 'C:\\ProgramData\\Anaconda3\\lib\\site-packages\\Pythonwin',
 'C:\\ProgramData\\Anaconda3\\lib\\site-packages\\IPython\\extensions',
 'C:\\Users\\lijiaxiang\\.ipython']
  • import sys
  • sys.path.append(’引用模块的地址')

例如:

  • import sys
  • sys.path.append('C:/Users/lijiaxiang/Desktop/model')1
---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-13-b841c103bdb2> in <module>()
      1 import sys
      2 sys.path.append('C:/Users/lijiaxiang/Desktop/model')
----> 3 from model import baichuan

ModuleNotFoundError: No module named 'model'

因为model下没有__init__.py,自己新建一个就好了。

.format在String中套用函数功能

'''
...
where userid = {}
'''.format(userid)

要学会print

最后要print main(68758684)main(68758684)没有用。 main是一个主函数,只要给userid,就反馈分数。 另外,.format()是函数里面录入sql的方法。

pd.merge如果key不同

left_on, right_on

import pdb;pdb.set_trace()debug神器

每一步都好好看下。

 import pdb;pdb.set_trace()
    if 'cmcnt_pai_exc_l7d' not in df.columns.tolist():
        df['cmcnt_pai_exc_l7d'] = None

python版本管理

conda info --envs,查看存在的python版本,多余的就删除。


  1. 使用Linux的路径: ‘d:/a.txt’, 这在Linux和window下都是行的通的。* Python 中 ‘unicodeescape’ codec can’t decode bytes in position XXX: trun错误解决方案 - CSDN博客↩︎

学习笔记 系列导航

1 Hive/Impala 学习笔记 2017-12-04
2 KS 学习笔记 2017-12-06
3 datacamp pandas DataFrames 学习笔记 2017-12-11
4 datacamp pandas Merging DataFrames 学习笔记 2017-12-13
5 Databases in Python 学习笔记 2017-12-14
6 Data Visualization with Python 学习笔记 2017-12-16
7 Exploratory data analysis in Python 学习笔记 2017-12-17
8 Statistical Thinking in Python (Part-2) 学习笔记 2017-12-18
9 list comprehensions in Python 学习笔记 2017-12-19
10 无监督学习:Unsupervised Learning in Python 学习笔记 2017-12-20
11 学习笔记:Deep Learning in Python 学习笔记 2017-12-22
12 学习笔记:Network Analysis in Python Part 1 学习笔记 2017-12-27
13 学习笔记:XGBoost using Python 学习笔记 2017-12-28
14 学习笔记:Supervised Learning with scikit-learn 学习笔记 2017-12-30
15 学习笔记:Boosting理论部分 学习笔记 2018-01-02
16 学习笔记:Machine Learning with the Experts School Budgets 学习笔记 2018-01-02
17 学习笔记:犯罪心理解析 2018-01-02
18 学习笔记:决策树理论部分 学习笔记 2018-01-03
19 学习笔记:Shell 学习笔记 2018-01-04
20 学习笔记:客户价值定价 学习笔记 2018-01-04
21 学习笔记:Introduction to Git for Data Science 学习笔记 2018-01-06
22 学习笔记:线性代数 整理笔记 2018-01-08
23 学习笔记:退火算法 学习笔记 2018-01-09
24 学习笔记:Fahrenheit 911 视频笔记 2018-01-18
25 学习笔记:pandas debugging 学习笔记 2018-01-19
26 学习笔记:brilliant.org概率论导论 学习笔记 2018-01-22
27 学习笔记:Machine Learning with Tree-Based Models in R 学习笔记 2018-01-22
28 学习笔记:Building Web Applications in R with Shiny 学习笔记 2018-01-25
29 学习笔记:Inference for Numerical Data 学习笔记 2018-01-26
30 学习笔记:Support Vector Machines SVM 学习笔记 2018-01-26
31 学习笔记:Introduction to DataCamp Projects 学习笔记 2018-01-28
32 学习笔记:Working with Web Data in R 学习笔记 2018-01-28
33 学习笔记:三种平均数使用的方式 学习笔记 2018-01-29
34 学习笔记:戒律的复活 每周六更新 2018-01-29
35 学习笔记:Communicating with Data in the Tidyverse 学习笔记 2018-01-31
36 学习笔记:Kaggle R Tutorial on Machine Learning 学习笔记 2018-02-01
37 学习笔记:Kaggle Python Tutorial on Machine Learning 学习笔记 2018-02-02
38 技术:ggridges 山峦图 学习笔记 2018-02-02
39 技术:XGBoost 学习笔记 2018-02-02
40 学习笔记:圆桌派 第三季 视频笔记 2018-02-05
41 学习笔记:基础与技巧整理 2018-02-25
42 集成学习R SuperLearner包学习笔记 2018-03-04
43 学习笔记:英语学习积累:词汇、表达与语法整理 2018-04-09
44 技术:原理与应用学习笔记 2018-04-29
45 学习笔记:魏剑峰英语学习笔记:表达与语法整理 2018-05-02
46 技术:方法与实践学习笔记 2018-05-12
47 无监督学习:主成分分析(PCA)原理与实现学习笔记 2018-05-17
48 技术:特征筛选学习笔记 2018-05-29
49 学习笔记:Planet Money播客学习笔记:经济学话题解析 2018-06-05
50 基础算法系列梯度下降算法详解:原理与优化学习笔记 2018-07-11
51 技术:统计建模学习笔记 2018-07-24
52 技术:指标设计学习笔记 2018-09-20
53 技术:安装与使用基础学习笔记 2018-11-07
54 📈 ggplot 设计思路 学习笔记 2019-12-26
55 🧩 Python 函数编写学习笔记 2019-12-31
56 技术:特征工程之目标编码学习笔记 2020-01-20
57 📚 词向量 学习笔记 2020-07-04
58 主题模型:学习笔记 2020-07-04
59 学习笔记:WSJ 学习笔记 2020-10-19
60 健身:学习笔记 2025-08-19