python3.7 scrapy async 錯誤

C:\Users\kay.lee>scrapy bench
2018-07-31 14:40:51 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: scrapybot)
2018-07-31 14:40:51 [scrapy.utils.log] INFO: Versions: lxml 4.2.3.0, libxml2 2.9.7, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.7.0, Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:06:47) [MSC v.1914 32 bit (Intel)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0h  27 Mar 2018), cryptography 2.3, Platform Windows-10-10.0.17134-SP0
2018-07-31 14:40:54 [scrapy.crawler] INFO: Overridden settings: {'CLOSESPIDER_TIMEOUT': 10, 'LOGSTATS_INTERVAL': 1, 'LOG_LEVEL': 'INFO'}
Traceback (most recent call last):
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "C:\Users\kay.lee\AppData\Local\Programs\Python\Python37-32\Scripts\scrapy.exe\__main__.py", line 9, in <module>
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\cmdline.py", line 150, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\cmdline.py", line 90, in _run_print_help
    func(*a, **kw)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\cmdline.py", line 157, in _run_command
    cmd.run(args, opts)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\commands\bench.py", line 25, in run
    self.crawler_process.crawl(_BenchSpider, total=100000)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\crawler.py", line 170, in crawl
    crawler = self.create_crawler(crawler_or_spidercls)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\crawler.py", line 198, in create_crawler
    return self._create_crawler(crawler_or_spidercls)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\crawler.py", line 203, in _create_crawler
    return Crawler(spidercls, self.settings)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\crawler.py", line 55, in __init__
    self.extensions = ExtensionManager.from_crawler(self)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\middleware.py", line 58, in from_crawler
    return cls.from_settings(crawler.settings, crawler)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\middleware.py", line 34, in from_settings
    mwcls = load_object(clspath)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\utils\misc.py", line 44, in load_object
    mod = import_module(module)
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\importlib\__init__.py", line 127, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 1006, in _gcd_import
  File "<frozen importlib._bootstrap>", line 983, in _find_and_load
  File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 677, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 728, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\scrapy\extensions\telnet.py", line 12, in <module>
    from twisted.conch import manhole, telnet
  File "c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\twisted\conch\manhole.py", line 154
    def write(self, data, async=False):
                              ^
SyntaxError: invalid syntax


解決方法 :
編輯 :

c:\users\kay.lee\appdata\local\programs\python\python37-32\lib\site-packages\twisted\conch\manhole.py

由最後結果得知文件的錯誤 來自這句 def write(self, data, async=False)
在 manhole.py 中查找 async 全部換為其他名字 如 : shark 
即改為

def write(self, data, shark=False)

再次測試OK .

C:\Users\kay.lee>scrapy bench
2018-07-31 14:56:56 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: scrapybot)
2018-07-31 14:56:56 [scrapy.utils.log] INFO: Versions: lxml 4.2.3.0, libxml2 2.9.7, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.7.0, Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 04:06:47) [MSC v.1914 32 bit (Intel)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0h  27 Mar 2018), cryptography 2.3, Platform Windows-10-10.0.17134-SP0
2018-07-31 14:56:59 [scrapy.crawler] INFO: Overridden settings: {'CLOSESPIDER_TIMEOUT': 10, 'LOGSTATS_INTERVAL': 1, 'LOG_LEVEL': 'INFO'}
2018-07-31 14:56:59 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.closespider.CloseSpider',
 'scrapy.extensions.logstats.LogStats']
2018-07-31 14:57:00 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-07-31 14:57:00 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-07-31 14:57:00 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2018-07-31 14:57:00 [scrapy.core.engine] INFO: Spider opened
2018-07-31 14:57:00 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:01 [scrapy.extensions.logstats] INFO: Crawled 45 pages (at 2700 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:02 [scrapy.extensions.logstats] INFO: Crawled 93 pages (at 2880 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:03 [scrapy.extensions.logstats] INFO: Crawled 133 pages (at 2400 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:04 [scrapy.extensions.logstats] INFO: Crawled 173 pages (at 2400 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:05 [scrapy.extensions.logstats] INFO: Crawled 213 pages (at 2400 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:06 [scrapy.extensions.logstats] INFO: Crawled 245 pages (at 1920 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:07 [scrapy.extensions.logstats] INFO: Crawled 285 pages (at 2400 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:08 [scrapy.extensions.logstats] INFO: Crawled 317 pages (at 1920 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:09 [scrapy.extensions.logstats] INFO: Crawled 349 pages (at 1920 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:10 [scrapy.core.engine] INFO: Closing spider (closespider_timeout)
2018-07-31 14:57:10 [scrapy.extensions.logstats] INFO: Crawled 381 pages (at 1920 pages/min), scraped 0 items (at 0 items/min)
2018-07-31 14:57:11 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 157484,
 'downloader/request_count': 397,
 'downloader/request_method_count/GET': 397,
 'downloader/response_bytes': 1025739,
 'downloader/response_count': 397,
 'downloader/response_status_count/200': 397,
 'finish_reason': 'closespider_timeout',
 'finish_time': datetime.datetime(2018, 7, 31, 6, 57, 11, 688454),
 'log_count/INFO': 17,
 'request_depth_max': 14,
 'response_received_count': 397,
 'scheduler/dequeued': 397,
 'scheduler/dequeued/memory': 397,
 'scheduler/enqueued': 7940,
 'scheduler/enqueued/memory': 7940,
 'start_time': datetime.datetime(2018, 7, 31, 6, 57, 0, 834947)}
2018-07-31 14:57:11 [scrapy.core.engine] INFO: Spider closed (closespider_timeout)


留言

張貼留言

這個網誌中的熱門文章

VMware Workstation 教學之三種網絡設定模式

VMware Workstation 提了五種的網絡模式給虛擬機以方便使用者測試各種網絡環境.分別有四種模式,本文只介紹其中常用到的三種. Bridged Networking Network Address Translation (NAT) Host Only Networking Bridged Networking 橋接模式 如果你的主機在一個局域網中，這種方法是將你的VMware Workstation 接入網路的其中一種常用的方法。 虛擬機就像一個新增加的、與主機有著同等地位的一台電腦 ，橋接模式可以享受所有可用的服務；包括檔案服務、列印服務等等.也就是說在此模式下,局域網中的電腦也能發現此電腦,并和虛擬機互聯. 如果你在新增虛擬機的時候選擇了bridged networking或者是選擇了標準的設定流程，那麼預設的橋接模式網路會自動設定好。如果你的主機在一個以設定好的局域網中，那麼選擇用橋接模式的網路會是讓你的虛擬機連上網絡一種簡單的方式。如果你選擇了橋接模式的網路連接的話，VMware Workstation 需要它自己一個獨立的網路連線；比如說在TCP/IP架構的網路底下，虛擬機需要一個單獨的IP連線。 Network Address Translation (NAT) 網路地址轉換(Network Address Translation, NAT)連線會自動地建立起來如果使用者在“New Virtual Machine Wizard”裡面選擇了“Use network address translation”。  如果想要藉由"Host computer"的撥號網路或寬頻連線，來連上Internet或者其他TCP/IP網路，但是 卻無法讓你的Virtual Machine得到一個外部網路IP位址 ，NAT是讓你的Virtual Machine連上網路最簡單的方法。也是 VMware Workstation 推薦的方式。 如果你選擇了NAT，VMware Workstation 可以使用許多標準的TCP/IP協定來連到外部網路的其他機器。  例如：你可以使用HTTP來瀏覽Web站台，使用FTP來傳送檔案，以及使用Telnet來登入其他電腦。  當使用預設的設定值時， 外部網路上的電腦將無法起始一個和Virtual mach
閱讀完整內容

SET命令詳解

一、用 set 命令設置自訂變數 顯示、設置或刪除 cmd.exe 環境變數。 SET [variable=[string]] variable 指定環境變數名。 string 指定要指派給變數的一系列字串。 要顯示當前環境變數，鍵入不帶參數的 SET。 SET 命令不允許變數名含有等號。 注意：以下用法將清除變數variable的值，使其變成未定義狀態。 SET variable= 上面等號後面無任何符號，如果寫成SET variable=""，此時變數值並不為空，而是等於兩個引號，即"" 例子: 1. @echo off 2. set var=我是值 3. echo %var% 4. pause 複製代碼 請看 set var=我是值 ,這就是BAT直接在批次處理中設置變數的方法! set 是命令 var是變數名 =號右邊的"我是值"是變數的值 在批次處理中我們要引用這個變就把var變數名用兩個%(百分號)擴起來,如%var% SET還可以提供一個交互介面,讓使用者自己輸入變數的值,然後我們在來根據這個值來做相應操作,現在我就來說說SET的這種語法,只需要加一個"/P"參數就可以了! SET /P variable=[promptString] 例子: 1. @echo off 2. set /p var=請輸入變數的值: 3. echo 您輸入了 %var% ~_~ 4. pause 複製代碼 set /p 是命令語法 var是變數名 =號右邊的"請輸入變數的值: ",這個是提示語,不是變數的值了! 運行後,我們在提示語後面直接輸入1,就會顯示一行您輸入了 1 ~_~ 好了,先回顧到這,現在講SET其他功能 使用set /?查看SET的幫助我們發現SET除了我上面講的 SET [variable=[string]] SET /P variable=[promptString] 這兩種語法外,還有如下幾種語法: SET /A expression 環境變數替換已如下增強: %PATH:str1=str2% %PATH:~10,5% %PATH:~-10% %PATH:~0,-2% 這機種語法有什麼用處呢?下面我們來一個個講解他們! 二、用s
閱讀完整內容

Elastix 呼入路由設定 （Inbound Routes）

圖片
系統 ： Elastix 2.5 語音卡 ： TDM410P Elastix 安裝完畢後，還不能打入電話，因為elastix 根就知來電將去到那個分機，所以需要設定 呼入路由 inbound routes . Elastix 最簡單的呼入路由設定。 PBX -->PBX Configuration-->Inbound Routes 表裡面的幾呼不用填寫任何的資料，只而留意兩個表格，分別是 DID Number 和 Set Destination . DID Number 在這裡留空，表示所有的來電呼入都轉到 Set Destination . Set Destination 必填。來電的目的地，可以是Extensions，也可以是IVR，Ring Group Inbound Routes 經過上面的設定，現在不管來電者呼叫那條線路都將去到Extensions 202 . 但這情況并不理想，這樣做不到分組的效果，比如金司有多條的電話線，那202就很忙了。現在介紹線路的分流。 假設公司有3條電話線，分別連接到elastix 的port 1,2,3 每條線都會去到不通的分線。 第一步，也是必需的，修改配置文件。 PBX-->Tools-->Asterisk File Editor .  找到 dahdi-channels.conf 并修改內容 context=from-pstn  改成  contest=from-zaptel editor PBX-->DAHDI Channel DIDs 這是重點，但也不复雜，只有三個選項 DID Channel 這裡要填的是電話線所連接的TDMP 卡的port ,這裡是選1,既表示的第一個PROT位，也可以理解為電話線的line 1. Description 描術，可以填上line 1 的電話號碼，如2345 6789，方便自己記憶。 DID 這裡填上數字，也是方便自己記憶同理解，現在以號碼的后四位，6789 。這個要記住，后面要用到這個DID。 這定好後回到 Inbound routes 新增呼入路由。 這里而要填上 DID Number 和 Set Destination .完
閱讀完整內容