Linux系统Python编程实践(四)——python3爬取数据

liftword4个月前 (01-31)技术文章31

摘要:Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的使用,包含怎么利用Python3爬取网站数据,怎么与Mysql数据库连接,并将爬取古来的数据库保存打数据库中等内容。详细情况请参考下文。

一、登录系统

1、登陆linux系统

2、查看默认的Python

二、Mysql数据库创建数据表

1、登陆数据库

2、创建数据表

执行指令创建数据表iciba_daily_sentence。执行效果如下

三、Python3爬取网站数据

1、安装Python3爬取工具包

Python爬取数据使用到的模块有json,pymysql和requests模块,json是python自带的,pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块。如下图

执行pip3指令安装requests模块。如下图

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

备注:代码中的JSON字段解释如下:

属性名

属性值类型

说明

dateline

String

时间

caption

String

标题

content

String

英文内容

fenxiang_img

String

合成图片,分享微博用的

note

String

中文内容

picture

String

图片地址

picture2

String

大图片地址

translation

String

词霸小编

tts

String

音频地址

执行指令# python iciba.py的效果如下图

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

相关文章

干就行!大牛给初学者推荐的10个Python经典案例

Python是一种高级,解释性,交互式且面向对象的脚本语言。Python的设计具有很高的可读性。它使用英语作为关键字,相对于而其他语言则使用标点符号作为语句结束不同,是依靠缩进作为结束。并且其语法结...

解锁 Python 学习的正确姿势:从入门到实践

为什么选择 Python?在众多编程语言中,Python 犹如一颗璀璨的明星,脱颖而出,备受青睐。其在多个领域展现出的强大应用优势,使其成为了编程界的多面手。在数据分析领域,Python 堪称利器。它...

1天学会用Python写爬虫(《用python写网络爬虫》)

如今,整个世界已经进入了数据时代。无论你从事什么工作,获取尽量多的相关数据,都是做好工作的前提。而世界上最大的数据源,就是互联网。学会通过Python爬取网络上的信息,正变得越来越有意义。本课程旨在教...

Python面向对象编程入门教程——打造你的代码帝国

如果你已经跟随步伐,学习Python数据分析,并通过前面的文章踏入了Python编程的大门,那么恭喜你,接下来的内容——面向对象编程(OOP),将是你构建代码帝国的关键一步。今天我将介绍Python面...

我用python实现了一个量化选股程序

背景近期在学习数据分析,在课程最后老师讲了一下通过量化分析选择股票的案例,感觉挺有意思的,恰好周围也有人在炒股票,干脆自己做一个软件来实践一下学到的知识。课程上主要用python相关库来处理比特币的数...

小白学习《python编程从入门到实践》,需要注意的点

相信很多人学习python语言,接触的第一本是《python编程入门到实践》,那么结合自身的学习过程,给大家分享一下,这本书该如何学习:这本书一共包含两个部分,基础知识和项目实战。基础知识项目基础知识...