点击关注▲艾奇SEM

知识 |经验|资讯|资料四大版块

专注SEM与信息流广告

作者：王文涛（QQ：2774150789）

投稿邮箱：tougao@27sem.com

商务合作：微信 aiqijun02

本人纯屌丝竞价猿一枚，用n也上班就查排名啊！竟然竞价技查排名啊！自动抓查排名啊！广告蛋甚是排名疼，就想着有没有办法实时自动抓取百度（当然搜狗、黑科360、用n也神马啥的竟然竞价技都可以）竞价排名，那就不用自己手动来查排名了!

还别说，自动抓真的广告有！

大家可以先看视频感受一下这种自动抓取排名的排名酷炫感（视频开始后请静候10秒，小程序运行需要一点时间……）

这边放一张最后抓取到EXCEL报表的黑科示例图：

这个东西都能用来做些什么工作呢？比如：

1、采集创意，用n也研究对手创意（代码只能获取标题，竟然竞价技没有添加获取两个描述的自动抓代码）；

2、排查排名情况（可以修改代码，只监视我们关注的对手的排名情况）；

3、根据excel中的查询记录能查到 对手下线上线时间 ；

4、调整查询的关键词可以了解对手推广重点（需要添加多关键词查询功能，很简单）

5、不用点击进去就能获取真实着陆页链接；

6、通过观察对方着陆页链接的后缀可以大致摸清其账户结构（需要查询足够多，足够广泛的的关键词及知道其陆页链接后缀意思的情况下才可以）；

7、研究对手匹配方式设置情况（通过查询多次，对比搜索词与账户触发词，此代码没有添加此功能，有兴趣的童鞋可以自己添加上去，很简单）；

8、研究对手分地域推广情况（需要设置代理，我没有添加此功能，有点麻烦）；

9、除查询竞价排名情况外，稍微修改一下还可以查询自然排名情况，用处大家自己想哈；

下面教程开始：

1、 环境搭建

人生苦短，我用python

备注：装轮子的时候推荐使用pip或者easy_install，以下环境搭建非本文重点，请各位童鞋找度娘帮忙，实在实在搞不定的话也可以联系我，不要看要安装那么多东西太麻烦，其实这只是冰山的一个小角，要学的还有很多呢！

1）python2.7（我是用的python，当然需要安装python环境了，为什么不选py3呢?因为py2的轮子比较丰富，可能有的在py3上面不支持，而且py3的部分语法跟py2有点区别，特别是print函数）

下载地址：https://www.python.org/downloads/（复制链接到浏览器打开即可）

2）使用python现成的轮子：

A、requests库（python爬虫经典库，当然也有很多别的，比如urllib、Scrapy框架等，但是我感觉requests用的比较顺手）

安装教程：http://www.python-requests.org/en/master/user/install/#install

B、xlwings库（操作excel的库，把获取到的排名情况写到Excel，其他的比如xlrd、xlwt，一个只能读，一个只能写，还不能覆盖了写，好像有点操蛋哈。其实也可以把结果直接打印在控制台或是存在文档里面，都可以的）

安装教程：http://docs.xlwings.org/en/stable/installation.html

C、 lxml库（这个库用来使用XPath获取爬到的页面内容，比如竞价位的标题和url，我已经抛弃了Beautiful Soup了，因为感觉它有点笨拙，个人见解，不喜勿喷）

安装教程：http://lxml.de/installation.html#installation

3）Excel2016（我是用的这个版本，其他版本也可以兼容xlwings）

4）Sublime Text3（用来编写和运行python代码的，为什么用这个，个人喜好）

安装及配置python环境教程：https://www.zhihu.com/question/22904994

2、连接python和excel

现在基本的环境都配置好了，下面要开始连接python和Excel了，在Excel里面跑python代码，从此告别VBA，是不是很酷啊！

最简单的方法就是打开cmd（开始-运行-输入cmd回车或者win键+R打开运行输入cmd并回车），打开cmd后默目录如图是C:\Users\Administrator（不同电脑这个目录可能不同）；

我现在要把当前目录切换到C盘根目录，输入下面命令并回车：

出现如图所示，则表明运行成功：

然后在C盘会生成一个以wwt命名的文件夹,里面有两个文件：一个是wwt.xlsm文件，这是打开宏的excel格式，爬取到的数据就写入到该文件;另外一个是wwt.py文件,python命令就写在这个文件。

备注：链接excel和python有多种方法，具体见xlwings官网使用文档。

打开wwt.xlsm，然后打开vba代码编辑窗口(Alt+F11)，如图所示：

双击Module1模块，复制下面代码进去，

1

2

3

SubGetSEM()

RunPython ("import wwt; wwt.main()")

EndSub

备注：以上代码是在VBA中自定义一个以GetSEM()命名的宏，该宏会出现在Excel中的开发工具—宏模块中。

RunPython ("import wwt; wwt.main()")是xlwings提供的代码，意思是运行python代码，“import wwt”是导入wwt.py文件，“wwt.main()”是运行wwt.py文件中的main()函数，这个宏是连接python和Excel的桥梁。

至此，连接python与Excel2016完成，可以在Excel中跑python代码了！保存退出，OK！

3、 复制代码到wwt.py

由于微信编辑功能限制（其实是艾奇菌不知道怎么把代码完完整整放进来……），我们为大家打包了源代码和EXCEL文档，大家点击“阅读原文”即可下载源代码，将代码复制之前生成的wwt.py中即可。

这里的代码只是实现了一个最简单的查排名的功能，可以根据自己需要修改。

注意：python是一门有强迫症的语言，上下前后左右缩进一定要对其，否则会报错！

4、运行wwt.xlsm

万事俱备，只欠东风，我们什么都不欠了，就欠你打开wwt.xlsm，然后点几下了！

按照如图箭头所示顺序，执行以下，排名情况就会展现在你面前！最后贴上运行结果供大家参考！什嘛？竟然有的着陆页没添加跟踪后缀，太不专业啦！！

代码纯手敲，文字纯手打，累了！DONE！

以上程序代码只做了简单的异常处理，运行时可能会无故中断，并且只获取PC端的排名情况，代码也比较丑，请大家不要笑话俺，此文仅为各位童鞋提供一个大体思路，具体细节请各位自行斟酌。

▼ 点击原文，立即下载