通达信数据接口对接kafka-电商平台商品数据爬虫分析

简单说明

京东，淘宝，天猫，，淘特，拼多多，阿里巴巴，168抖音，苏宁，亚马逊中国，lazada，速卖通等全球50多个知名平台抓取数据，存储到database并进行分析

抓取的DIC

 the_basic_info = {
                    "search_keyword": self.keyword,  "使用的keyword"
                    "last_crawling_timestamp": datetime.now(),    "当前抓取时间"
                    "platform": "JD",   "抓取平台"
                    "product_name": product_name,    "产品名称"
                    "seller_name": seller_name,   "商家名称"
                    "sku_id": _data_pid,    "产品Id"
                    "default_price": float(final_price),   "最终价格"
                    "final_price": 0,
                    "item_url": _http,  "商品网页地址"
                    "comments_ave_score": float(score_avg),    "商品评分"
                    "comments_count": comment_count,    "商品评论数量"
                    "images": img,    "商品图片地址"
                    "current_stock": location_list,   "商品存储地址"
                    "search_rank": rank,    "在当前搜索索引下的排名"
                    "search_order": order,   "当前索引（按销量，价格，热度等）"
                    "seller_url": seller_url,   "商家网页地址"
                    "comments_list": comment_list    "具体评论，支持抓取100条评论"
                }

一个例子：

测试？

if __name__ == "__main__":
    j = JDMonitoringEngine()
    j.set_searching_url(_keyword="dell", _page_limit=1, _order=["sales"])
    url_list = j.url_list
    for _index, url_dict in enumerate(url_list):
        logger.info("Sending {0}/{1} url dict to basic info extraction".format(
            (_index + 1), len(url_list)))
        results = list(map(lambda x: j.get_basic_info(x), url_dict))

将jd_monitoring_enginemain方法里面的_keyword,_page_limit,_order改成你想测试的例子。三个参数分别是关键字,搜索页数和搜索索引。

接口封装代码

请求方式：HTTPSGETPOST

公共参数：

key	String	是	调用key（必须以GET方式拼接在URL中）
secret	String	是	调用密钥（复制vxin:Taobaoapi2014 )
api_name	String	是	API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默认yes，将调用缓存的数据，速度比较快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
lang	String	否	[cn,en,ru]翻译语言，默认cn简体中文
version	String	否	API版本

请求参数：

请求代码示例，支持高并发请求

文章为作者独立观点，不代表股票配资公司观点