简易搭建 Django 后台做 Python 爬虫的过程问题
Notepad++ 配置 Python
https://www.cnblogs.com/xier/p/10658087.html
Beautiful soup 文档
写 csv
写 csv 乱码
百度搜索 url 参数解释
链接重定向问题
【百度爬虫系列 II】关键字搜索url结果汇总(给定关键字和页数)
pip 配置国内源
https://www.cnblogs.com/schut/p/10410087.html
服务器运行指令
python manage.py makemigrations
python manage.py migrate
python manage.py runserver 127.0.0.1:8000
// 网址
Django 安装版本
Django 默认安装最新版本:
pip install django
Django 后面接版本号就可以了:
pip install django==1.11.7
如果使用 pip install 安装库比较慢,可以用豆瓣的镜像:
pip install django==1.11.7 -i http://pypi.douban.com/simple –trusted-host pypi.douban.com
用 pip 安装库报错:Microsoft visual c++ 14.0 is required
下载安装包安装即可:
Git的 PyCharm 使用
Git 教程
git merge 最简洁用法
https://blog.csdn.net/zl1zl2zl3/article/details/94019526
商用视频与图片素材的版权问题
mixkit.co 视频插画 免费下载并且商用
Pexels.com 图片视频 免费且商用
pixabay.com 免费下载商用无需注明出处
videezy.com 视频 版权归创作者(一般免费下载的可以商用但需要注明出处,付费则无需注明)
freesound.org 音效 免费且商用需署名并附上链接
audionautix.com 背景音乐 可以商用
YouTube Voice 声音素材 (YouTube上无版权问题)
Adobe Voice 音效 (不允许打包二次出售)
百度舆情
http://yuqing.baidu.com/saas/intro/newindex
新闻网站排行榜
https://www.idataapi.cn/leaderboard/list
舆情监测系统问答
个人如何监测舆情
https://www.zhihu.com/question/27198392
第谷搜索
http://www.digudata.com/search/?platform=News
python去除空格和换行符
https://www.cnblogs.com/royfans/p/7473695.html
https://www.cnblogs.com/fandx/p/9311755.html
python json
open 函数
open 函数写文件时不存在则创建文件,但是如果目录不存在的话会报错,因为需要判断并创建目录
python 创建目录 / 文件夹
https://blog.csdn.net/qq_41019121/article/details/90717040
垃圾bug,Python OSError: [Errno 22] Invalid argument:的出现和解决
https://www.cnblogs.com/yanhuidj/p/11351561.html
挺好的一个爬虫教程
爬虫数据替换
https://segmentfault.com/q/1010000007818995?_ea=1463237
鱼塘热榜,聚类数据搜索
mysql 的迁移创建
Django + MySQL中文报错:django.db.utils.InternalError
https://www.geek-share.com/detail/2757153055.html
git 回退 commit
python 获取项目根目录
Django No changes detected when “makemigrations”(坑爹)
需要删除数据库重建,注意数据库和表格编码格式为 utf8,来支持中文
Django. No changes detected when “makemigrations”
静态文件读取需要在 static 目录下
MySQL:如何清空表中的数据
https://blog.csdn.net/qq_29229567/article/details/82743645
Django – models 中导入数据重复的解决办法
https://blog.csdn.net/weixin_34404393/article/details/85833383
python 的字符串截取
https://www.cnblogs.com/xunbu7/p/8074417.html
Python 中 datetime 库的用法
https://www.cnblogs.com/huigebj/p/11259449.html
导入模块时 import datetime 即可
python 中判断字典中是否存在某个键
https://www.cnblogs.com/xmnote/p/9334880.html
pandas 时间使用 (比 datetime 好用)
Django —— filter查询的使用 ( 数据库查询过滤筛选)
百度咨询搜索的时间范围参数
python 时间字符串和时间戳之间的转换
https://blog.csdn.net/qq_37193537/article/details/78987949
order_by 函数
用来排序
books = BookInfo.objects.all().order_by(‘-id’) # ‘id’表示升序; ‘-id’表示降序。
books = BookInfo.objects.order_by(‘-id’) # .all()可以省略。 默认查询所有。可以结合filter 等函数一起使用 。
数据库查询返回值 filter 的 values() 和 values_list 的区别
raise ValueError(“unconverted data remains: %s” %)
对参数的修改最好在一开始获取到参数的时候,报这个错的原因是因为对于后面的请求重复获取并重复修改了参数,导致参数长度不一致,格式转换错误
django 使用 HttpResponse 返回 json 数据为中文
https://www.cnblogs.com/fanhua999/p/9773317.html
接口测试时保存 Forbidden (CSRF cookie not set.)
https://blog.csdn.net/qq_43245972/article/details/87883108
django 的 post 请求传数组到后台接收
需要前台固定好请求格式,content-type 为 application/json,然后在请求 body 中是 raw 的 json 格式的文本
然后在后台用 json.loads(request.body) 得到 json 对象,再对 json 对象进行各种操作
使用 jieba 分词与 wordcloud 词云分析
本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!