在 Pycharm 中 debug Scrapy 项目
缘起
为什么写这篇文章呢？因为自己想在 Scrapy 项目里 debug, 看看 Response 有哪些属性。但是 Scrapy 的官方文档的 debug 说明只有 VSCode 的，没有 Pycharm 的(详见：https://docs.scrapy.org/en/latest/topics/debug.html)：
当然，如果熟悉 VSCode 的人看到这个配置就明白其实执行方式是：python -m scrapy runspider xxx_spider.py (注：这里的 xxx_spider.py 指 spider 文件，如官方文档里面的 quotes_spider.py)。如果这个人同时还熟悉 Pycharm, 那么他就知道在 Pycharm 里面配置进行 debug：
很遗憾，我不是这样的人，所以就有了这篇文章。
说明
时间：2025/12/06
Pycharm 版本：2025.2.4
Python 版本：3.12.0
Scrapy 版本：2.13.4
Windows 版本：Win 11
main.py
在与 scrapy.cfg 文件同层级的目录中新建一个名为 main.py 的文件，用于 debug。示例：
项目结构：
TypeError: 'Task' object is not callable
当 Debug'main'时， 出现错误：
之所以产生这个问题，不是代码的问题，是 Pycharm debuger 的问题，我还没梳理完，故暂不展开，只讲怎么解决。
Debug 方式
方法 1：TWISTED_REACTOR
Settings > Python > Debugger，取消 Gevent compitable 的勾选。
2.在项目的 settings.py 文件里设置 TWISTED_REACTOR = 'twisted.internet.selectreactor.SelectReactor'
方法 2：python.debug.asyncio.repl
1.Settings > Python > Debugger，取消 Gevent compitable 的勾选(这步和方法 1 是一样的)。
2.双击 Shift 键打开搜索窗口。
双击 Shift 的意思是“search everywhere，详见 https://www.jetbrains.com/help/pycharm/searching-everywhere.html”。
3.点击 ALL 选项，输入 registry，最后点击 Regisry 选项。
4.找到 python.debug.asyncio.repl，取消勾选 Value 列的方框。
验证
如上图所示，设置后可以 debug。
参考资料
1.Scrapy 文档, Debugging Spiders: https://docs.scrapy.org/en/latest/topics/debug.html
2.Pycharm 文档，Search for a target by name：https://www.jetbrains.com/help/pycharm/searching-everywhere.html
欢迎搜索及关注：编程人(a_codists)，如有问题请留言。
公众号：编程人 2021-01-14 加入
Life is short, You need Python
评论