Linux系统Python编程实践(四)——python3爬取数据

liftword5个月前 (01-31)技术文章43

摘要:Python是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的使用,包含怎么利用Python3爬取网站数据,怎么与Mysql数据库连接,并将爬取古来的数据库保存打数据库中等内容。详细情况请参考下文。

一、登录系统

1、登陆linux系统

2、查看默认的Python

二、Mysql数据库创建数据表

1、登陆数据库

2、创建数据表

执行指令创建数据表iciba_daily_sentence。执行效果如下

三、Python3爬取网站数据

1、安装Python3爬取工具包

Python爬取数据使用到的模块有json,pymysql和requests模块,json是python自带的,pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块。如下图

执行pip3指令安装requests模块。如下图

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

备注:代码中的JSON字段解释如下:

属性名

属性值类型

说明

dateline

String

时间

caption

String

标题

content

String

英文内容

fenxiang_img

String

合成图片,分享微博用的

note

String

中文内容

picture

String

图片地址

picture2

String

大图片地址

translation

String

词霸小编

tts

String

音频地址

执行指令# python iciba.py的效果如下图

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

相关文章

玩转Python? 一文总结30种Python的窍门和技巧

Python作为2019年必备语言之一,展现了不可替代作用。对于所有的数据科学工作者,如何提高使用Python的效率,这里,总结了30种Python的最佳实践、技巧和窍门。希望这些可以帮助大家在202...

Python面向对象编程入门教程——打造你的代码帝国

如果你已经跟随步伐,学习Python数据分析,并通过前面的文章踏入了Python编程的大门,那么恭喜你,接下来的内容——面向对象编程(OOP),将是你构建代码帝国的关键一步。今天我将介绍Python面...

千万别再瞎学Python了,过来人的一些学习经验,能让你少走弯路

我当初选择学习Python,其实自己也是盲目的,毕竟是转行过来,之前对编程领域根本不了解。这还得多亏我的那位亲戚指点,才少走了很多弯路。他当时告诉我要我学习Python主要有以下几点原因:1、Pyth...

掌握Python3的秘密:10个鲜为人知的技巧和最佳实践

Python 3 是一种功能强大且易于学习的编程语言,被广泛应用于各种领域。无论你是初学者还是有经验的开发者,掌握一些鲜为人知的技巧和最佳实践,都能大大提升你的编码效率和代码质量。本文将深入介绍10个...

我用python实现了一个量化选股程序

背景近期在学习数据分析,在课程最后老师讲了一下通过量化分析选择股票的案例,感觉挺有意思的,恰好周围也有人在炒股票,干脆自己做一个软件来实践一下学到的知识。课程上主要用python相关库来处理比特币的数...

疯了吧?37岁失业大叔为当码农8天学PYTHON2个月开发系统之二

今天是2025年1月19日,欢迎你点开我的文章,我用我的人生做个实践,希望能对大家有点启发。疯了吧?为啥这么选?49年入国军?2024年12月失业。37岁,大龄HR,大胖子,人生的DEBUFF加满。工...