后羿采集器怎么樣？國內(nèi)知名的網(wǎng)絡(luò)爬蟲軟件，使用完全免費(fèi)，用戶可以無限制進(jìn)行數(shù)據(jù)的采集和結(jié)果的導(dǎo)出，操作流程簡單，支持多種模式，兼容性強(qiáng)，是你必備的數(shù)據(jù)采集軟件之一。有需要的朋友歡迎來體驗(yàn)！

后羿采集軟件介紹

由前谷歌搜索技術(shù)團(tuán)隊(duì)基于人工智能技術(shù)研發(fā)的新一代網(wǎng)頁采集軟件。該軟件功能強(qiáng)大，操作簡單，是為廣大無編程基礎(chǔ)的產(chǎn)品、運(yùn)營、銷售、金融、新聞、電商和數(shù)據(jù)分析從業(yè)者，以及政府機(jī)關(guān)和學(xué)術(shù)研究等用戶量身打造的一款產(chǎn)品。

后羿采集器教程

后羿采集器怎么用？很多新入手的朋友不知道如何使用，這里提供詳細(xì)的教程。

一、如何下載、安裝、注冊、設(shè)置和升級軟件

1、下載及安裝

（1）下載

后羿采集器是業(yè)內(nèi)首個支持windows、mac和linux全操作系統(tǒng)的采集軟件。您可以在本站下載資源包，網(wǎng)站會根據(jù)你的操作系統(tǒng)推送相應(yīng)的版本；

（2）安裝

下載完成后請?jiān)谖募４媛窂秸业桨惭b包文件，雙擊進(jìn)行安裝。

2、后羿采集器的注冊及設(shè)置

（1）打開后羿采集器，點(diǎn)擊左上角進(jìn)行新用戶注冊。

（2）您可以選擇手機(jī)注冊或者郵箱注冊，后羿采集器為神箭手旗下產(chǎn)品，如果您已經(jīng)注冊過神箭手的賬號，可以直接使用神箭手的賬號進(jìn)行登陸，無需再次注冊。

※如果您未收到手機(jī)驗(yàn)證碼，請按照以下步驟進(jìn)行排查：

第一步：請您確認(rèn)一下填寫的手機(jī)號碼是否正確。

第二步：如果號碼填寫正確，請您到攔截短信里查看一下，驗(yàn)證碼短信有可能在被攔截短信里。

第三步：如果攔截圾短信里沒有找到驗(yàn)證碼，請您查看一下發(fā)送驗(yàn)證碼的移動號碼是否被拉入手機(jī)黑名單，您可以將該號碼加入白名單，然后再在登陸界面點(diǎn)擊“獲取短信驗(yàn)證碼”。

第四步：如果以上步驟未能解決您的問題，請直接聯(lián)系官方客服，我們會在第一時間解決您的問題。

※如果您未收到賬號激活郵件，請按照以下步驟進(jìn)行排查：

第一步：請您確認(rèn)一下填寫的郵箱地址是否正確。

第二步：如果郵箱地址正確，請您查看一下垃圾箱，激活郵件有可能在垃圾箱里。

第三步：如果郵件不在垃圾箱中，請您查看一下是否設(shè)置郵件地址黑名單，激活郵件有可能被郵箱攔截，請您將后羿采集器加入白名單，然后再在登陸界面點(diǎn)擊“發(fā)送郵件”。

第四步：如果以上步驟未能解決您的問題，請直接聯(lián)系官方客服，我們會在第一時間解決您的問題。

（3）修改密碼/注銷賬號

點(diǎn)擊左上角頭像可以打開基本資料窗口，您可以在此進(jìn)行賬戶密碼修改，或注銷賬號退出切換新賬號登錄。

（4）忘記密碼

如果用戶忘記密碼的話，可以在登錄界面進(jìn)行修改。

（5）軟件的基本設(shè)置

打開右上角齒輪狀圖標(biāo)即可打開設(shè)置中心，您可以在此進(jìn)行軟件的基本設(shè)置。

3、如何升級軟件版本

一般情況下，后羿采集器會自動識別新版本提示更新，如果沒有提示的話，也可以在設(shè)置內(nèi)檢查更新，然后登錄官網(wǎng)下載最新版本的安裝包，下載完畢后直接雙擊打開即可進(jìn)行完成軟件更新。

二、什么是智能模式

智能模式是后羿采集器團(tuán)隊(duì)基于人工智能技術(shù)研發(fā)的新一代采集模式。該模式操作極其簡單，只需要輸入被采集的網(wǎng)址就能智能識別出網(wǎng)頁中的內(nèi)容，無需配置任何采集規(guī)則就能夠完成數(shù)據(jù)的采集。

智能模式支持單個網(wǎng)址的采集和多個網(wǎng)址的批量采集，支持從本地txt文檔中批量導(dǎo)入網(wǎng)址，并且支持批量生成網(wǎng)址。智能模式主要針對單頁類型網(wǎng)頁、列表類型網(wǎng)頁和列表+詳情頁類型的網(wǎng)頁，在批量采集多個網(wǎng)址時，建議只輸入同一種類型的網(wǎng)頁，例如全部都是列表類型或全部都是內(nèi)容類型。不同類型的網(wǎng)頁建議創(chuàng)建不同的任務(wù)進(jìn)行采集。

三、如何導(dǎo)入和導(dǎo)出采集任務(wù)

1、導(dǎo)入采集任務(wù)

點(diǎn)擊左上角圖標(biāo)導(dǎo)入本地任務(wù)，可直接運(yùn)行任務(wù)，也可以按需修改任務(wù)。

2、導(dǎo)出采集任務(wù)

右擊任務(wù)，選擇導(dǎo)出任務(wù)到本地。

推薦理由

不僅能夠進(jìn)行數(shù)據(jù)的自動化采集，而且在采集過程中還可以對數(shù)據(jù)進(jìn)行清洗。在數(shù)據(jù)源頭即可實(shí)現(xiàn)數(shù)字、郵箱等多種內(nèi)容的過濾。

通過使用后羿采集器，用戶能夠快速、準(zhǔn)確地獲取海量網(wǎng)頁數(shù)據(jù)，從而徹底解決了人工收集數(shù)據(jù)所面臨的各種難題，降低了獲取信息的成本，提高了工作效率。

具有行業(yè)領(lǐng)先的技術(shù)優(yōu)勢，可以同時支持windows、mac和linux全操作系統(tǒng)的采集器。

功能說明

—采集任務(wù)：100個任務(wù)，支持多任務(wù)同時運(yùn)行，無數(shù)量限制，支持云端存儲，切換終端同步更新

—采集網(wǎng)址：無數(shù)量限制，支持手動輸入，從文件導(dǎo)入，批量生成

—采集內(nèi)容：無數(shù)量限制

—下載圖片：無數(shù)量限制

—智能模式：智能識別列表和分頁，一鍵采集

—流程圖模式：可視化操作，可以模擬人為操作

—導(dǎo)出數(shù)據(jù)：導(dǎo)出數(shù)據(jù)到本地（無數(shù)量限制），導(dǎo)出格式：excel、txt、csv、html

—發(fā)布到數(shù)據(jù)庫：無數(shù)量限制，支持發(fā)布到本地和云端服務(wù)器，支持類型：mysql、pgsql、sqlserver、mongodb

—篩選功能：根據(jù)條件組合對采集字段進(jìn)行篩選

—預(yù)登錄采集：采集需要登錄才能查看內(nèi)容的網(wǎng)址

—數(shù)據(jù)處理：字段合并，文本替換，提取數(shù)字、提取郵箱，去除字符、正則替換等

軟件特色

全程自動化提取數(shù)據(jù)

后羿能智能識別要抽取的數(shù)據(jù)和分頁，操作簡單，一鍵提取。

可視化點(diǎn)選操作

全程可視化操作，點(diǎn)選修改要抽取的數(shù)據(jù)等。人人都會用的采集器。

多種采集模式，任何網(wǎng)站都能采

支持智能和高級采集，滿足不同采集需求。支持xpath, json, http和post等。

軟件箭速迭代

軟件定期更新升級，不斷添加新功能?？蛻舻臐M意是對我們最大的肯定！

產(chǎn)品亮點(diǎn)

智能采集

智能分析并抽取列表/表格數(shù)據(jù)，并且能自動識別分頁。 免配置一鍵采集各種網(wǎng)站，包括分頁、滾動加載、登錄采集、ajax等等。

跨平臺支持

后羿采集器支持各種操作系統(tǒng)，包括windows, mac和linux。 不管是個人采集，還是團(tuán)隊(duì)/企業(yè)使用，都能滿足您的各種需求。

多種數(shù)據(jù)導(dǎo)出

一鍵導(dǎo)出采集的所有數(shù)據(jù)。支持csv, excel和html等，同時也支持導(dǎo)出數(shù)據(jù)到數(shù)據(jù)庫。

云端賬號

采集任務(wù)自動保存到云端，不用擔(dān)心任務(wù)丟失。一個賬號多終端操作，可隨時隨地創(chuàng)建和修改采集任務(wù)等。

適用場景

品牌/價格監(jiān)控

監(jiān)控品牌信息和產(chǎn)品評價，追蹤價格走勢，競品分析，seo監(jiān)測優(yōu)化，輿情監(jiān)控等。

行業(yè)分析

采集國內(nèi)外各大新聞源、博客、論壇、社交網(wǎng)絡(luò)、電商平臺等，助力行業(yè)分析和商業(yè)決策。

產(chǎn)品研發(fā)

自動獲取格式化數(shù)據(jù)，適用于不同終端的產(chǎn)品內(nèi)容同步。精準(zhǔn)獲取用戶反饋和偏好，提高研發(fā)效率。

精準(zhǔn)營銷

快速發(fā)現(xiàn)潛在客戶，全面收集客戶需求。提升市場營銷效率，增長銷售業(yè)績。

學(xué)術(shù)研究

一鍵獲取海量數(shù)據(jù)，支持大數(shù)據(jù)分析研究、機(jī)器學(xué)習(xí)訓(xùn)練建模、人工智能學(xué)術(shù)研究等。

常見問題

1、xx 網(wǎng)站能不能采集？xx 內(nèi)容能不能采集？

只要是有網(wǎng)址，可以通過網(wǎng)頁瀏覽，您能看得見的內(nèi)容，大多都是可以采集的（視頻比較特殊，得分析具體情況）。

2、為什么采集數(shù)據(jù)提前停止了？

如果您遇到的采集提前停止的問題，請按照以下步驟自檢一下：

第一步：請確認(rèn)您在瀏覽器中能看見多少內(nèi)容

有的時候搜索顯示數(shù)量和你最終能看得見的數(shù)量不是一致的，請確認(rèn)您能看見多少條數(shù)據(jù)，然后再確定采集是提前停止還是正常停止。

第二步：運(yùn)行日志是否提示“網(wǎng)頁數(shù)據(jù)未顯示，等待加載時間不足或被反爬”

在采集過程中，如果遇到這個問題，有以下兩種可能性：

第一種可能性是采集速度過快而網(wǎng)頁加載時間過慢，從而導(dǎo)致無法采集到網(wǎng)頁中的數(shù)據(jù)。

遇到這種情況時請?jiān)黾诱埱蟮却龝r間，等待時間長一點(diǎn)之后，就有足夠的時間留給網(wǎng)頁加載內(nèi)容。

請求等待時間的設(shè)置在 啟動設(shè)置—>防屏蔽設(shè)置 中，如下圖所示：

第二種可能性是你遇到了反爬，所謂反爬就是網(wǎng)站針對疑似采集的行為（不同網(wǎng)站對采集行為的定義不一致，例如有些網(wǎng)站覺得你翻頁過快就不正常，有些網(wǎng)址覺得你翻頁過多就不正常，有些網(wǎng)站覺得你直接輸入了詳情頁的網(wǎng)址就不正常，等等）。

是否遇到了反爬我們可以通過在運(yùn)行過程中，點(diǎn)擊運(yùn)行界面中的“查看網(wǎng)頁”來觀察一下當(dāng)前的網(wǎng)頁內(nèi)容是否正常，是否無法正常顯示，是否出現(xiàn)了驗(yàn)證碼或者其他非正常內(nèi)容的提示性文字。

如果出現(xiàn)了上述情況，那么你就是被反爬了。

解決反爬一般有降低采集速度、切換代理ip、手動打碼或自動打碼等方式，至于哪種方式可以起作用，這個需要測試才知道，不同的網(wǎng)站反爬手段不同，沒有一個統(tǒng)一的解決方案。

如果是遇到了反爬，你可以在問答社區(qū)反饋給我們，我們會為您提供支持。

3、為什么采集字段不全？

字段不全一般有以下兩種情況：

第一種，由于列表元素的結(jié)構(gòu)不同，有些元素中有的字段其他元素中沒有，這是正常的現(xiàn)象，請大家先在網(wǎng)頁中確認(rèn)對應(yīng)元素中是否存在你想要的字段。

第二種，頁面結(jié)構(gòu)發(fā)生了變化，這種通常會發(fā)生在同一個搜索結(jié)果中包含多種頁面結(jié)構(gòu)的場景，例如百度搜索結(jié)果（包含很多種網(wǎng)站），淘寶搜索結(jié)果（包含淘寶和天貓）等。

這種情況需要針對具體問題進(jìn)行分析，您可以導(dǎo)出您的采集任務(wù)，發(fā)到我們官方的問答社區(qū)，我們的工程師會幫您進(jìn)行測試分析。

4、采集停止了，再運(yùn)行是不是從頭開始？

是的，采集停止之后，下次再直接啟動會默認(rèn)按照上一次的設(shè)置從頭開始采集。

5、編輯任務(wù)時出現(xiàn)滑塊怎么辦？

目前后羿采集器已經(jīng)支持在運(yùn)行過程中自動檢測滑動驗(yàn)證碼和手動打碼。如果大家在編輯任務(wù)時已經(jīng)出現(xiàn)了滑塊驗(yàn)證碼，請?jiān)诘谝粋€界面點(diǎn)擊預(yù)登錄，然后在預(yù)登錄里點(diǎn)擊列表中的標(biāo)題，打開詳情頁，讓滑塊驗(yàn)證碼跳出來，然后在預(yù)登錄窗口里把滑塊問題解決掉。然后點(diǎn)擊登錄成功關(guān)閉預(yù)登錄窗口，這樣在編輯任務(wù)時就不會出現(xiàn)滑塊了。

更新日志

v3.6.1

修復(fù)

修復(fù)某些情況下的文件下載問題

修復(fù)某些情況下的代理問題

v3.6.0

增加

支持POST方式的文件下載

優(yōu)化

提高sku的兼容性

v3.5.4

優(yōu)化

優(yōu)化文件下載的各種兼容問題

增加

導(dǎo)出csv時支持tab分隔符

新增退出軟件的api接口

修復(fù)

修復(fù)按組運(yùn)行的問題

修復(fù)處理的鏈接無法深入采集的bug

v3.2.2

修復(fù)

修復(fù)部分網(wǎng)頁打不開的問題

修復(fù)滾動的bug

優(yōu)化

兼容下一頁彈出新窗口

調(diào)整提示窗顯示