简易搭建 Django 后台做 Python 爬虫的过程问题

Notepad++ 配置 Python

https://www.cnblogs.com/xier/p/10658087.html

Beautiful soup 文档

Beautiful Soup 4.4.0 文档

写 csv

Python 将数据写入CSV文件

写 csv 乱码

python3-csv写入中文乱码

百度搜索 url 参数解释

百度搜索URL参数你知道多少

链接重定向问题

【百度爬虫系列 II】关键字搜索url结果汇总(给定关键字和页数)

pip 配置国内源

https://www.cnblogs.com/schut/p/10410087.html

服务器运行指令

python manage.py makemigrations

python manage.py migrate

python manage.py runserver 127.0.0.1:8000

// 网址

http://127.0.0.1:8000/page/index_i.html#

Django 安装版本

Django 默认安装最新版本:

pip install django

Django 后面接版本号就可以了:

pip install django==1.11.7

如果使用 pip install 安装库比较慢,可以用豆瓣的镜像:

pip install django==1.11.7 -i http://pypi.douban.com/simple –trusted-host pypi.douban.com

用 pip 安装库报错:Microsoft visual c++ 14.0 is required

下载安装包安装即可:

Microsoft visual c++ 14.0

Git的 PyCharm 使用

如何在Pycharm中使用GitHub,一文带你深入

git在工作中的正确使用方式—git merge篇

Git 教程

Git使用教程,最详细,最傻瓜,最浅显,真正手把手教

git merge 最简洁用法

https://blog.csdn.net/zl1zl2zl3/article/details/94019526

商用视频与图片素材的版权问题

mixkit.co 视频插画 免费下载并且商用
Pexels.com 图片视频 免费且商用
pixabay.com 免费下载商用无需注明出处
videezy.com 视频 版权归创作者(一般免费下载的可以商用但需要注明出处,付费则无需注明)
freesound.org 音效 免费且商用需署名并附上链接
audionautix.com 背景音乐 可以商用
YouTube Voice 声音素材 (YouTube上无版权问题)
Adobe Voice 音效 (不允许打包二次出售)

百度舆情

http://yuqing.baidu.com/saas/intro/newindex

新闻网站排行榜

https://www.idataapi.cn/leaderboard/list

舆情监测系统问答

请问有哪些不错的舆情监测系统?

个人如何监测舆情

https://www.zhihu.com/question/27198392

第谷搜索

http://www.digudata.com/search/?platform=News

python去除空格和换行符

https://www.cnblogs.com/royfans/p/7473695.html

https://www.cnblogs.com/fandx/p/9311755.html

python json

在Python中使用JSON

open 函数

open 函数写文件时不存在则创建文件,但是如果目录不存在的话会报错,因为需要判断并创建目录

python 创建目录 / 文件夹

https://blog.csdn.net/qq_41019121/article/details/90717040

垃圾bug,Python OSError: [Errno 22] Invalid argument:的出现和解决

https://www.cnblogs.com/yanhuidj/p/11351561.html

挺好的一个爬虫教程

Python 网络爬虫实战:爬取人民日报新闻文章

爬虫数据替换

https://segmentfault.com/q/1010000007818995?_ea=1463237

鱼塘热榜,聚类数据搜索

https://mo.fish/main/home/hot

mysql 的迁移创建

Django 数据库操作mySQL + Django

django基础之数据库操作

Django + MySQL中文报错:django.db.utils.InternalError

https://www.geek-share.com/detail/2757153055.html

git 回退 commit

git撤销commit

python 获取项目根目录

python如何获取当前工程根目录

Django No changes detected when “makemigrations”(坑爹)

需要删除数据库重建,注意数据库和表格编码格式为 utf8,来支持中文

Django. No changes detected when “makemigrations”

静态文件读取需要在 static 目录下

管理静态文件(比如图片、JavaScript、CSS)

MySQL:如何清空表中的数据

https://blog.csdn.net/qq_29229567/article/details/82743645

Django – models 中导入数据重复的解决办法

https://blog.csdn.net/weixin_34404393/article/details/85833383

python 的字符串截取

https://www.cnblogs.com/xunbu7/p/8074417.html

Python 中 datetime 库的用法

https://www.cnblogs.com/huigebj/p/11259449.html

导入模块时 import datetime 即可

python 中判断字典中是否存在某个键

https://www.cnblogs.com/xmnote/p/9334880.html

pandas 时间使用 (比 datetime 好用)

Pandas系列(六)-时间序列详解

pandas获取当前时间

Pandas里的日期转字符串

Django —— filter查询的使用 ( 数据库查询过滤筛选)

Django——filter查询的使用

百度咨询搜索的时间范围参数

怎样生成带自定义时间限制的百度搜索url

python 时间字符串和时间戳之间的转换

https://blog.csdn.net/qq_37193537/article/details/78987949

order_by 函数

用来排序

books = BookInfo.objects.all().order_by(‘-id’) # ‘id’表示升序; ‘-id’表示降序。

books = BookInfo.objects.order_by(‘-id’) # .all()可以省略。 默认查询所有。可以结合filter 等函数一起使用 。

数据库查询返回值 filter 的 values() 和 values_list 的区别

django中filter的values_list条件使用

raise ValueError(“unconverted data remains: %s” %)

对参数的修改最好在一开始获取到参数的时候,报这个错的原因是因为对于后面的请求重复获取并重复修改了参数,导致参数长度不一致,格式转换错误

django 使用 HttpResponse 返回 json 数据为中文

https://www.cnblogs.com/fanhua999/p/9773317.html

https://blog.csdn.net/qq_43245972/article/details/87883108

django 的 post 请求传数组到后台接收

需要前台固定好请求格式,content-type 为 application/json,然后在请求 body 中是 raw 的 json 格式的文本

然后在后台用 json.loads(request.body) 得到 json 对象,再对 json 对象进行各种操作

django中使用POST方法 获取POST数据

使用 jieba 分词与 wordcloud 词云分析

jieba分词过滤停顿词、标点符号及统计词频


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!