文章内容爬取
翻译通达信语言接口,接口如下，json参数里面的from，设置为英文用的是en。实现过程，还有通达信语言通达信语言接口,接口,有道api的配置过程可以看这篇文章：通达信语言接口,有道翻译API接口的服务开通与使用Python进行接口调用实例演示，有道智云·AI开放平台
import requests
import time
import hashlib
import uuid
def english_translator(translate_text):
'''
小蓝枣, 2022.1.24
【作用】
将传入的英文内容翻译为中文
【参数】
translate_text : 需要进行翻译的中文
【返回】
翻译后的中文
'''
youdao_url = 'https://openapi.youdao.com/api' # 有道api地址
input_text = '' # 翻译文本生成sign前进行的处理
# 当文本长度小于等于20时，取文本
if(len(translate_text) <= 20):
input_text = translate_text
# 当文本长度大于20时，进行特殊处理
elif(len(translate_text) > 20):
input_text = translate_text[:10] + str(len(translate_text)) + translate_text[-10:]
app_id = 'xxx' # 应用id
app_key = 'xxx' # 应用密钥
time_curtime = int(time.time()) # 秒级时间戳获取
uu_id = uuid.uuid4() # 随机生成的uuid数，为了每次都生成一个不重复的数。
sign = hashlib.sha256((app_id + input_text + str(uu_id) + str(time_curtime) + app_key).encode('utf-8')).hexdigest() # sign生成
data = {
'q':translate_text,
'from':'en',
'to':'zh-CHS',
'appKey':app_id,
'salt':uu_id,
'sign':sign,
'signType':'v3',
'curtime':time_curtime,
}
r = requests.get(youdao_url, params = data).json() # 获取返回的json()内容
return r['translation'][0] # 获取翻译内容
文章结构分析
第二章：实现
翻译文章示例一【得益于中国援助的数字电视，喀麦隆农村社区享受着非洲国家杯】
文章：得益于中国援助的数字电视，喀麦隆农村社区享受着非洲国家杯翻译后的效果：
翻译文章示例二【有关中国传统文化的节目深受年轻观众的欢迎】
我们可以看到文章标题在class属性为'article_title'的p元素里。正文内容在class为'article_right'的p元素里。
文章：有关中国传统文化的节目深受年轻观众的欢迎翻译后的效果：
第一章：翻译效果展示
这是爬取后的文章：
利用BeautifulSoup库对内容进行爬取。bs4模块通过pipinstallbs4即可进行安装。注：文章内注释的翻译部分的代码就是后面要用到的翻译接口。
from urllib.request import urlopen
from bs4 import BeautifulSoup
def article_structure(article_url):
'''
小蓝枣, 2022.1.24
【作用】
对传入网站的文章内容进行爬取
【参数】
article_url : 需要进行翻译的外文网址
【返回】
无
'''
url = urlopen(article_url)
soup = BeautifulSoup(url, 'html.parser') # parser 解析
# 读取文章标题
alert_header = soup.find('p', class_='article_title')
print('【文章标题】：')
print(alert_header.string)
# print('[英文翻译]')
# print(english_translator(alert_header.string))
# 读取文章正文
alert_body = soup.find('p', class_='article_right').contents
print('
【文章正文】：')
for i in alert_body:
# String类型的，并且不包含空格和回车
if('String' in str(type(i)) and i[0] != ' ' and i[0] != '
'):
print('---------')
print(i)
# print('[英文翻译]')
# print(english_translator(i))
print()
article_structure('https://www.globaltimes.cn/page/202201/1246696.shtml')
部分代码解析：文章正文的部分是没有元素包裹的纯文本，用'String'instr(type()就可以筛选出来，还有空格内容和回车内容再过滤一下就好了。
文章为作者独立观点，不代表观点
相关文章
股民评论