文件添加一些注释，删除无用文件

Author: 扣丁禅师

INSTALL.md

@@ -0,0 +1,110 @@
+# ZComposer 镜像的安装部署
+
+```sh
+$ apt install beanstalkd
+$ cd composer-mirror
+$ composer install
+```
+
+## 常用命令
+
+```sh
+# 执行抓取任务
+$ php ./bin/console app:crawler
+
+# 后台多进程模型同步又拍云
+$ php ./bin/console app:daemon
+
+# 清理过期垃圾文件
+$ php ./bin/console app:clear --expired=json
+
+# 扫描并校验所有json和zip文件的hash256
+$ php ./bin/console app:scan
+```
+
+## 修改配置参数
+
+> 通常根据自己部署的实际环境，修改参数。详细配置说明详见 config.default.php
+
+`cp config.default.php config.php`，修改 config.php 中的如下参
+
+```php
+    /**
+     * distdir 用于存储 zip 包
+     */
+    'distdir' => __DIR__ . '/dist/',
+
+    /**
+     * 指向 mirrorUrl 对应的 web 实际目录
+     */
+    'cachedir' => __DIR__ . '/cache/',
+
+    /**
+     * packagistUrl：官方采集源
+     */
+    'packagistUrl' => 'https://packagist.org',
+
+    /**
+     * 镜像包发布站点, packages.json 入口根域名
+     */
+    'mirrorUrl' => 'https://packagist.laravel-china.org',
+
+    /**
+     * .json 中 dist 分发 zip 包的CDN域名
+     */
+    'distUrl' => 'https://dl.laravel-china.org/',
+```
+
+### supervisor 配置
+
+`sudo vim /etc/supervisor/supervisord.conf`，添加如下配置信息：
+
+    [program:crawler]
+    command=php ./bin/console app:crawler
+    directory=/home/zencodex/composer-mirror/  ;部署代码的位置，自行替换
+    autostart=true
+    autorestart=true
+    redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
+    stdout_logfile_maxbytes = 10MB  ; stdout 日志文件大小，默认 50MB
+    stdout_logfile_backups = 5      ; stdout 日志文件备份数
+    stdout_logfile = /tmp/composer_crawler_stdout.log
+    
+    [program:composer_daemon]
+    command=php ./bin/console app:daemon
+    directory=/home/zencodex/composer-mirror/  ;部署代码的位置，自行替换
+    autostart=true
+    autorestart=true
+    redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
+    stdout_logfile_maxbytes = 10MB  ; stdout 日志文件大小，默认 50MB
+    stdout_logfile_backups = 5      ; stdout 日志文件备份数
+    stdout_logfile = /tmp/composer_daemon_stdout.log
+
+### crontab 定时任务
+
+```
+# sudo crontab -e
+# 根据自己环境代码的位置，替换 /home/zencodex/composer-mirror 
+# getcomposer 是获取最新的 composer，上传到 CDN 云存储
+
+0 */2 * * * /usr/bin/php /home/zencodex/composer-mirror/bin/console app:clear --expired=json
+0 1 * * * /usr/bin/php /home/zencodex/composer-mirror/getcomposer.php
+```
+
+### 注意最大子目录数的坑
+
+代码详情见 `src/Commands/PatchCommand.php`
+
+```php
+/*
+|--------------------------------------------------------------------------
+| linux ext4 支持的最大子目录数有上限，大约 64000 ~ 65000，目前包的数量已经超过上限
+|--------------------------------------------------------------------------
+|
+| 有三种解决方法，前2种基本不现实。所以自己通过尝试，找到了3 (软连接不计数的方案)
+|
+|   1. 更换没有子文件夹数量限制的文件系统，比如 xfs 
+|   2. 或者更改相关代码，重新编译 ext4 内核
+|   3. 切割大的文件夹，分散不同字母开头的文件。在主文件夹里面使用软连接，软连接并不计数
+|
+*/
+```

README.md

@@ -1,72 +1,92 @@
-packagist-crawler
-========================
-
-Requirement
-------------------
-- PHP >= 5.6
-- ext-curl
-- ext-hash
-- ext-json
-- ext-zlib
-- ext-PDO
-- ext-pdo\_sqlite
-
-Install
-------------------
-
-```sh
-$ apt install beanstalkd
-$ cd packagist-crawler
-$ composer install
+ZComposer 镜像诞生于2017年3月份，至今已运行了2年多。当前是第二次重构过的代码，基本是0故障，期间发现的一些停更问题，大多也是第三方接口调用策略/频率限制调整导致的误伤，沟通后也能很快解决。
+
+## 镜像的安装部署
+
+如果你想独立安装及部署镜像站点，详见[INSTALL.md]
+
+## 镜像的使用方法
+
+> 请尽可能用比较新的 Composer 版本。
+
+使用 Composer 镜像加速有两种选项：
+
+- 选项一：全局配置，这样所有项目都能惠及（推荐）；
+- 选项二：单独项目配置；
+
+选项一、全局配置（推荐）
+
+```shell
+$ composer config -g repo.packagist composer https://packagist.laravel-china.org
 ```
 
-How to use
-------------------
+选项二、单独使用
+
+如果仅限当前工程使用镜像，去掉 -g 即可，如下：    
+
+```shell  
+$ composer config repo.packagist composer https://packagist.laravel-china.org
+```
 
-```sh
+## 遇到问题？
+
+`composer` 命令后面加上 -vvv （是3个v）可以打印出调错信息，命令如下：
+
+```shell
+$ composer -vvv create-project laravel/laravel blog
+$ composer -vvv require psr/log
+```
+   
+如果自己解决不了，或发现 BUG，可以在 [@扣丁禅师](https://laravel-china.org/users/12063) 的 GitHub 上 [创建 Issue](https://github.com/zencodex/composer/issues/new)。
 
-# 执行抓取任务
-$ php ./crawler.php
+注意提问时请带上 -vvv 的输出，并且要求叙述清晰，第一次提问的同学请阅读 [关于提问的智慧](https://laravel-china.org/topics/2396/wisdom-of-asking-questions-chinese-version)。
 
-# 后台多进程模型同步又拍云
-$ php daemon.php
+## 常见问题
 
-# 清理过期垃圾文件
-$ php clearexpired.php
+1. 已存在 composer.lock 文件，先删除，再运行 `composer install` 重新生成。
+> 原因：composer.lock 缓存了之前的配置信息，从而导致新的镜像配置无效。
 
-# 检测所有 json文件的 hash256
-$ php ./checkhash.php
+2. 使用 `laravel new` 命令创建工程， 这个命令会从 [这里](http://cabinet.laravel.com/latest.zip) 下一个zip包，里面自带了 composer.lock，和上面原因一样，也无法使用镜像加速，解决方法：
 
+- 方法一（推荐）：
+不使用 `laravel new`，直接用 `composer create-project laravel/laravel xxx` 新建工程。
+
+- 方法二：
+运行 `laravel new xxx`，当看见屏幕出现 - Installing doctrine/inflector 时，`Ctrl + C` 终止命令，cd xxx 进入，删除 composer.lock，再运行 `composer install`。
+
+3. 缓存多久更新一次？
+
+- 0时 - 早上7时，这个时间段考虑使用人数不会太频繁，间隔为15分钟
+- 其余时间，间隔为5分钟
+
+> 正常更新速度可在1分内完成 ，但更新太快，会降低CDN命中率，如果总有新文件让CDN去缓存，反而拖慢了速度，所以故意加了些延迟。我们每次采集中还会删减掉数千个僵尸包，以加快传输速度。
+
+## 安装 Composer
+
+### Linux/Mac：
+
+    wget https://dl.laravel-china.org/composer.phar -O /usr/local/bin/composer
+	chmod a+x /usr/local/bin/composer
+ 
+ 如遇权限不足，可添加 `sudo`。
+ 
+###  Windows：
+
+1. 直接下载 composer.phar，地址：https://dl.laravel-china.org/composer.phar
+2. 把下载的 composer.phar 放到 PHP 安装目录
+3. 新建 composer.bat, 添加如下内容，并保存：  
+
+<pre>@php "%~dp0composer.phar" %*</pre>
+
+### 查看当前版本
+
+```shell
+$ composer -V
 ```
 
+### 升级版本
+
+```shell
+$ composer selfupdate
+```
 
-Configuration
-------------------
-
-- config.default.php
-- config.php
-
-copy config.default.php to config.php
-
-supervisor config:
-
-    [program:crawler]
-    command=/usr/bin/php /home/zencodex/packagist-crawler/crawer.php
-    directory=/home/zencodex/packagist-crawler/
-    autostart=true
-    autorestart=true
-    redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
-    stdout_logfile_maxbytes = 10MB  ; stdout 日志文件大小，默认 50MB
-    stdout_logfile_backups = 5      ; stdout 日志文件备份数
-    stdout_logfile = /tmp/composer_crawler_stdout.log
-    
-    [program:composer_daemon]
-    command=/usr/bin/php /home/zencodex/packagist-crawler/deaemon.php
-    directory=/home/zencodex/precache/
-    autostart=true
-    autorestart=true
-    redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
-    stdout_logfile_maxbytes = 10MB  ; stdout 日志文件大小，默认 50MB
-    stdout_logfile_backups = 5      ; stdout 日志文件备份数
-    stdout_logfile = /tmp/composer_daemon_stdout.log
-    
+> 注意 `selfupdate` 升级命令会连接官方服务器，速度很慢。建议直接下载我们的 `composer.phar` 镜像，每天都会更新到最新。

bin/console

@@ -5,15 +5,15 @@ require_once __DIR__ . '/../src/lib/init.php';
 
 use Symfony\Component\Finder\Finder;
 use Symfony\Component\Console\Application;
-use zencodex\PackagistCrawler\Commands\ClearCommand;
+use zencodex\ComposerMirror\Commands\ClearCommand;
 
 $app = new Application();
 
 $finder = new Finder();
 $finder->files()->in(__DIR__ . '/../src/Commands');
 foreach ($finder as $fileObj) {
     $nameWithoutExtention = str_replace('.php', '', $fileObj->getFilename());
-    $className = "zencodex\\PackagistCrawler\\Commands\\" . $nameWithoutExtention;
+    $className = "zencodex\\ComposerMirror\\Commands\\" . $nameWithoutExtention;
     $app->add(new $className());
 }
 

composer.json

@@ -1,10 +1,10 @@
 {
-    "name": "zencodex/packagist-crawler",
-    "description": "build mirror of packagist.org",
-    "license": "CC0-1.0",
+    "name": "zencodex/composer-mirror",
+    "description": "mirror full packages on packagist.org, including json and dist/zip files",
+    "license": "MIT",
     "authors": [
         {
-            "name": "ZenCodex",
+            "name": "扣丁禅师",
             "email": "[email protected]"
         }
     ],
@@ -16,25 +16,17 @@
         "ext-json": "*",
         "ext-hash": "*",
         "ext-curl": "*",
-        "ext-PDO": "*",
         "ext-zlib": "*",
-        "ext-pdo_sqlite": "*",
         "symfony/finder": "^4.1",
         "pda/pheanstalk": "^3.1",
         "symfony/console": "^4.1"
     },
     "autoload": {
         "psr-4": {
-            "zencodex\\PackagistCrawler\\": "src/"
+            "zencodex\\ComposerMirror\\": "src/"
         }
     },
-    "bin": [
-        "parallel.php"
-    ],
     "scripts": {
-        "crawl": "php crawler.php",
-        "test": "php check.php",
-        "compress": "tar cjf packagist.tar.bz2 cache/",
-        "sync": "rsync -rvz --include=cache/index.php --include=vendor --exclude-from=.gitignore ./ root@linodejp:/home/zencodex/packagist-crawler/"
+        "sync": "rsync -rvz --include=cache/index.php --include=vendor --exclude-from=.gitignore ./ root@linodejp:/home/zencodex/composer-mirror/"
     }
 }