[實用軟件] 請推介 freeware batch downloader

吉夾萬

如題，其實用途99.99%  係用來 set batch download 每月港交所的交易資料，
慢些少唔緊要的，每月做一次，以前用 fleshget , 但後來因為轉左 https 開頭用唔到，

可否推介，裝過 IDM , 想比錢買但個價實在難以接受！
有冇其他代替品？以上近乎係唯一用途，所以不需其他功能，只要可以 batch download 港交所的https 就夠了。
先謝！

kong3883

有冇 download link 的 example ?

吉夾萬

有冇 download link 的 example ?
kong3883 發表於 2019-5-3 23:31

https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/hsioc190401.htm

吉夾萬

Can anyone help ?

kong3883

今天是 2019-05-05, 5月1日的還未有, 即是不可以單純每月1號自動下載,
https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/hsioc190501.htm

要記錄過去成功下載過的月份 save 至 log
每次電腦開機查 log, 如果今個月未存在於 log, 就下載
開始下載時還要判斷 response 是否 404, 如果是就直接 exit
下次開機重新 loop 以上程序, 直至有寫入至 log

除非你知道港交所每月固定幾號一定會出 report, 將會更簡單

kong3883

喔, 原來睇錯區, 以為自己在程式編寫區
如果你意思是想輸入 https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/hsioc19[01:04]01.htm 來 batch download

1. 神器 Firefox Addon: DownThemAll! , VM WinXP 還在用, 好容易 set referer


2. Linux 本身有 wget

3. curl https://curl.haxx.se/windows/
download unzip 免安裝, 執行 CMD 去到 curl\bin 輸入

1. curl -O https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/hsioc19[01-04]01.htm

複製代碼

可以將 curl\bin 的位置加入至 Windows 系統環境變數, 執行 CMD 後可在任何位置執行 curl 命令
document: https://curl.haxx.se/docs/manpage.html

有時要自動 login 某些網站下載東西, 我都是用 curl

吉夾萬

喔, 原來睇錯區, 以為自己在程式編寫區
如果你意思是想輸入 [01:04]01.htm 來 batch download

1. 神器 Fir ...
kong3883 發表於 2019-5-6 20:46

多謝賜教，我講得唔清楚。我係用 Windows7 , firefox ,
以往用idm 試用版及fleshget，set 以上 link 日期就 1904** , 即19年4月1號開始，wild word 01 至30 咁樣自動單撈。每月要做一次，煩都係一次，用呢個方法只會撈呢樣野，無其他野，所以都無謂比錢買軟件。

但起 firefox addon , 搵唔到有個叫 DownthemAll  ??

kong3883

DownThemAll 是很舊的 addon, win7 , win10 應該沒法裝,
那要 download 的是 每一個月 (19xx01) 還是每天都要 (19xxXX)?
你每天都要 download 前一天的 report 還是每月一號 download 番晒前一個月的每一天 report ?

curl 下載 2019 年 1 月 1 日- 2019 年 4 月 31 日 的所有 report, 但無開市的 response is 404

1. curl -O https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/hsioc19[01-04][01-31].htm

複製代碼

吉夾萬

DownThemAll 是很舊的 addon, win7 , win10 應該沒法裝,
那要 download 的是 每一個月 (19xx01) 還是每天都 ...
kong3883 發表於 2019-5-7 01:40

我係每個月完左，通常二三號後，就一次過撈返晒，例如四月份，仲未download ,
以前係用 fleshget 1904xx , 由01開始至30 咁set batch download ,
但自從轉左 https 開頭，個 fleshget 已經唔支援。後來用過 IDM . 但一個月巳唔work ，
我唔需要快，只需每個月一次下載返上個月紀錄。


https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/hsifc1904*.htm

https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/hhifc1904*.htm

https://www.hkex.com.hk/eng/stat/dmstat/dayrpt/hsio1904*.htm

https://www.hkex.com.hk/eng/stat/dmstat/dayrpt/hhio1904*.htm

https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/dqec1904*.htm

https://www.hkex.com.hk/chi/stat/dmstat/dayrpt/mhioc1904*.htm