最近在用scrapy重写以前的爬虫,由于豆瓣的某些信息要登录后才有权限查看,故要实现登录功能。豆瓣登录偶尔需要输入验证码,这个在以前写的爬虫里解决了验证码的问题,所以只要搞清楚scrapy怎么提交表单什么的就O...
今天基于阿里云SLB/ESS/EIP/ECS/VPC等产品进行了一次同城高可用方案演练: 基本步骤如下: 1. 在华东1创建VPC网络VPC1,在华东1可用区B和G各创建一个虚拟交换机vpc1_switch 和 vpc1_switch_2_g; 2. 创建两...
利用python爬取58同城简历数据 利用python爬取58同城简历数据 最近接到一个工作,需要获取58同城上面的简历信息(http://gz.58.com/qzyewu/)。最开始想到是用python里面的scrapy框架制作爬虫。但是在制作的时候...
本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验,偏重于实践。 嘉宾李样兵,现就职于美菜网基础服务平台组,负责 MQ ,配置中心和任务调度等基础组件开发工作。 今天...
近日,阿里云正式发布OSS同城冗余存储产品。这是国内目前提供同城多AZ冗余部署能力覆盖最广的云上对象存储产品,可以实现云存储的同城双活,满足企业级客户对于“发生机房级灾难事件时数据不丢失,业务不中...
◆版权声明:本文出自胖喵~的博客,转载必须注明出处。 转载请注明出处:http://www.cnblogs.com/by-dream/p/5384698.html 初衷 一直都有一个这样的想法: 虽然在我发出这个帖子之后没有人来主动和我交...
双活数据中心是为数据库提供高可用的 同城双活比两地三中心少了一个异地灾备数据中心,oracle中用rac实现 要满足1.网络双活 2.存储双活 3.应用双活 距离上有限制一般100km以上不支持 实际建议50km以内 无论两地三...
背景:需要获取58同城上面发布的职位信息,其中的包括职位的招聘要求,薪资福利,公司的信息,招聘者的联系方式。(中级爬虫的难度系数) 职位详情页分析 某个职位详情页的链接 https://qy.m.58.c...
前言:2020年3月7日晚7点,大佬张祥在微信群向大家详细介绍了58同城hbase平台及其生态的建设实践与相关经验,确实讲得很好。今天花了点时间帮大家整理了一下,希望更多的没有参与直播的朋友能够看到它,也欢迎大...