Move most of the shorthand implementation to C code

It passes the tests designed for the previous Elisp implementation.

Likely, this isn't the final form of the implementation.  For one, the
reader is much slower and allocates a Lisp string for every atom read,
regardless if its already interned or not.  This has the potential to
be catastrophic in terms of GC.

Also rename the main variable to elisp-shorthands, from the
repetitive shorthand-shorthands.

For some reason, I had to put 'hack-elisp-shorthands' and
'load-with-shorthands-and-code-conversion', the new source-file
loading functions, in lisp/international/mule.el.

Otherwise, lisp/loadup.el wouldn't see them, for some reason that I
didn't investigate.  This should probably be fixed.

* lisp/shorthand.el: Remove.

* test/lisp/shorthand-tests.el: Remove.

* src/lread.c:
(read1, Fintern, Fintern_soft, Funintern): Use
oblookup_considering_shorthand.
(oblookup_considering_shorthand): New helper.
(syms_of_lread): Declare elisp-shorthands.

* lisp/progmodes/elisp-mode.el (elisp-shorthands):
Put a safe-local-variable spec.

* test/lisp/progmodes/elisp-mode-tests.el (elisp-shorthand-read-buffer)
(elisp-shorthand-read-from-string)
(elisp-shorthand-byte-compile-a-file)
(elisp-shorthand-load-a-file): New tests.

* test/lisp/progmodes/elisp-resources/simple-shorthand-test.el: New file

* lisp/loadup.el (load-source-file-function): Set to
load-with-shorthands-and-code-conversion.

* lisp/international/mule.el (hack-elisp-shorthands): Move here.
(load-with-shorthands-and-code-conversion): And here.

First Elisp version of lisp/shorthand.el, failing some tests

* lisp/shorthand.el: New file

* test/lisp/shorthand-tests.el: New file

Add 'doc-string' declaration to defcalcmodevar

* lisp/calc/calc.el (defcalcmodevar): Add 'doc-string' declaration.

Move two incorrectly named test files

* test/lisp/emacs-lisp/tabulated-list-test.el: Move from here...
* test/lisp/emacs-lisp/tabulated-list-tests.el: ...to here.
* test/lisp/url/url-handlers-test.el: Move from here...
* test/lisp/url/url-handlers-tests.el: ...to here.

checkdoc: Don't add "Commentary" header to test files

* lisp/emacs-lisp/checkdoc.el (checkdoc-file-comments-engine):
Don't add "Commentary:" header if it looks like a test file.

Add glyphless-char-display-control for Variation Selectors

* lisp/international/characters.el (update-glyphless-char-display):
(glyphless-char-display-control): Add control knob for U+FE00 through
U+FE0F, defaulting to 'thin-space'.
* doc/lispref/display.texi (Glyphless Chars): Document it.

Explicitly make the rest of erc-compat.el obsolete

* lisp/obsolete/erc-compat.el (erc-decode-coding-string)
(erc-encode-coding-string, erc-set-write-file-functions)
(erc-emacs-build-time, erc-replace-match-subexpression-in-string)
(erc-member-if, erc-delete-if, erc-remove-if-not, erc-subseq):
Explicitly declare obsolete.
(erc-define-minor-mode): Make into obsolete function alias for
'define-minor-mode'.
(erc-user-emacs-directory): Make into obsolete variable alias for
'user-emacs-directory'.

; Minor stylistic checkdoc fixes in test/**/*.el

; Clarify and simplify time-stamp comments

* lisp/time-stamp.el (time-stamp-end, time-stamp-string-preprocess,
time-stamp-formatz-from-parsed-options): Simplify doc.
* test/lisp/time-stamp-tests.el (time-stamp-custom-pattern):
Refactor to set limit-number only once.

; Fix some recent fixes to doc strings

* lisp/whitespace.el (whitespace-empty-at-bob-regexp):
* lisp/vc/vc-dir.el (vc-dir-child-files-and-states):
* lisp/vc/vc-annotate.el
(vc-annotate-show-changeset-diff-revision-at-line):
* lisp/vc/ediff.el (ediff-merge-with-ancestor-command):
* lisp/gnus/nnvirtual.el (nnvirtual-update-xref-header)
(nnvirtual-map-article):
* lisp/emulation/viper-init.el (viper-ESC-keyseq-timeout):
* lisp/emulation/viper-cmd.el
(viper-set-parsing-style-toggling-macro):
* lisp/cedet/data-debug.el (data-debug-insert-hash-table-button):
"The first line of a doc string must be a complete sentence."
Also, fix some awkward wording in doc strings while at that.

Add fast-path to ert--explain-string-equal

* lisp/emacs-lisp/ert.el (ert--explain-string-equal): Add fast-path to
avoid doing extra work.
Problem reported by Mattias Engdegård <mattiase@acm.org>.

* test/infra/gitlab-ci.yml (variables): Set DOCKER_BUILDKIT.

Rename "Homepage" field to "Website" in package description

* lisp/emacs-lisp/package.el (describe-package-1): Rename
"Homepage" field to "Website".

* test/lisp/emacs-lisp/package-tests.el
(package-test-describe-package)
(package-test-describe-installed-multi-file-package)
(package-test-describe-non-installed-package)
(package-test-describe-non-installed-multi-file-package): Update tests.

Prefer https for other domains than gnu.org in package URL

* lisp/emacs-lisp/package.el (describe-package-1): Prefer https for
some other common domains in the package URL.

Add test for lm-website

* lisp/emacs-lisp/lisp-mnt.el (lm-website): Use rx.
* test/lisp/emacs-lisp/lisp-mnt-tests.el
(lm--tests-lm-website): New test.

Rx documentation touch-ups (bug#46910)

* doc/lispref/searching.texi (Rx Constructs, Rx Functions):
Add clarifications and improve naming of arguments.  Add examples
illustrating the differences between `rx` and `rx-to-string`.

Warn about overly long docstring in lambda

* lisp/emacs-lisp/bytecomp.el
(byte-compile-docstring-length-warn): Warn about overly long
docstring in lambda.  (Bug#44858)

(byte-compile--wide-docstring-p): Improve comment.
* test/lisp/emacs-lisp/bytecomp-tests.el
("warn-wide-docstring-defun.el"): Update to test for the above new
warning.

Avoid warning about long docstring lines in defcustom

* lisp/custom.el (defcustom): Avoid warning about long docstring
lines.  This was caused by the value of the defcustom being treated as
docstring due to it being wrapped in a lambda.

Fill some auto-generated docstring lines

* lisp/cedet/mode-local.el (define-mode-local-override):
* lisp/cedet/semantic/decorate/mode.el (define-semantic-decoration-style):
* lisp/cedet/semantic/idle.el (define-semantic-idle-service):
* lisp/emacs-lisp/derived.el (derived-mode-make-docstring):
* lisp/emacs-lisp/eieio.el (defclass): Fill auto-generated docstring
lines.

Avoid false positives in bytecomp docstring width warning

* lisp/emacs-lisp/bytecomp.el (byte-compile--wide-docstring-p):
Ignore more function argument lists.
* test/lisp/emacs-lisp/bytecomp-tests.el
(bytecomp-tests-byte-compile--wide-docstring-p): New test.

Improve filling of generated docstring lines

* lisp/subr.el (internal--fill-string-single-line): Improve filling to
use full width.  Fix bug where line was not wrapped correctly.

; Adjust overly long docstrings to fit 80 characters

ert: Add basic explainer for string-equal

* lisp/emacs-lisp/ert.el (ert--explain-string-equal): Add basic
explainer for 'string-equal' based on 'ert--explain-equal'.

Unbreak ert tests

* test/lisp/emacs-lisp/tabulated-list-test.el (tabulated-list-print)
(tabulated-list-sort): Update tests for recent change.

; More instrumentation in autorevert-tests.el

Doc fix: mode name in local variables needs no suffix

* doc/emacs/custom.texi (Specifying File Variables): Clarify that a
mode name does not need the "-mode" suffix.  (Bug#50801)

checkdoc: Library footer must match package.el requirement

* lisp/emacs-lisp/checkdoc.el (checkdoc-file-comments-engine):
Don't accept footer format unless it matches the requirement in
package.el.

; Improve documentation of 'with-environment-variables'

* lisp/env.el (with-environment-variables):
* doc/lispref/os.texi (System Environment): Improve the
documentation of 'with-environment-variables'.

Adapt Tramp's make-process for macOS.

* lisp/net/tramp-sh.el (tramp-check-remote-uname): New defun.
(tramp-sh-handle-file-ownership-preserved-p)
(tramp-sh-handle-make-process, tramp-find-executable)
(tramp-find-shell, tramp-get-remote-stat): Use it.  (Bug#50748)

* test/lisp/net/tramp-tests.el (tramp-check-remote-uname): Declare.
(tramp-test29-start-file-process, tramp-test30-make-process):
Instrument for macOS.
(tramp--test-hpux-p): Adapt function.
(tramp--test-macos-p): New defun.

Expand the ` doc string slightly

* lisp/emacs-lisp/backquote.el (backquote): Note that ` is used
for other things in some macros (bug#25462).

Fix rendering non-ASCII text with links

* lisp/gnus/mm-view.el (mm-text-html-renderer-alist): Add a new
form for links.
(mm-links-remove-leading-blank): Make obsolete.
(mm-inline-wash-with-file):
(mm-inline-render-with-file): Make obsolete -- they were awkwardly
defined and only used with links.
(mm-inline-render-with-links): New function.

Add new macro with-environment-variables

* doc/lispref/os.texi (System Environment): Document it.

* lisp/env.el (with-environment-variables): New macro.

Revert "; Fix capitalization of F1..F12 keys in docs"

This reverts commit fe5b20410f68546821e6c87577d7f826167491dc.

This change was not correct; these are Lisp symbols that should be in
lower-case.  Problem reported by Mattias Engdegård <mattiase@acm.org>.

; Bump seq version to 2.23

Revert part of previous doc fix

* lisp/emacs-lisp/derived.el (define-derived-mode): Revert part of
previous doc fix.  This change made the text confusing.  (Bug#17567)

* lisp/tab-bar.el (tab-bar-new-tab-to): Use ignore-window-parameters.

Suggested by Adam Porter <adam@alphapapa.net> in
https://lists.gnu.org/archive/html/emacs-devel/2021-09/msg01758.html

* lisp/tab-line.el: Add modified-buffer face

(tab-line-tab-modified): New face.
(tab-line-tab-face-modified): New function.
(tab-line-tab-face-functions): Use new function.

* etc/NEWS: Update.

; Fix capitalization of F1..F12 keys in docs

* doc/emacs/custom.texi (Function Keys):
* doc/misc/edt.texi (Unix):
* doc/misc/idlwave.texi (Custom Expression Examination):
* doc/misc/viper.texi (Improved Search, Vi Macros): Fix
capitalization of F1..F12 keys.

; * lisp/wid-edit.el (natnum): rectify tag string

Fix byte-compiler crash for legal dynamic-binding code

This should really be taken care of by a syntax normalisation step in
the frontend, but there is no such step for non-lexbind code yet.

* lisp/emacs-lisp/byte-opt.el (byte-optimize-letX): Tolerate bindingsa
without initialising expressions.
* test/lisp/emacs-lisp/bytecomp-tests.el (bytecomp-tests--test-cases):
Add test cases.

; * doc/emacs/help.texi (Misc Help): @key{f1} -> @key{F1}

Constant-propagate variables bound outside loops

Previously, variables bound outside `while` loops were not substituted
inside even in the absense of mutation.  Add the necessary mutation
checking inside loops to allow propagation of values and aliased
variables.

* lisp/emacs-lisp/byte-opt.el
(byte-optimize--inhibit-outside-loop-constprop): New variable.
(byte-optimize-form-code-walker): First traverse each loop without
substitution to discover mutation, then without restrictions.
* test/lisp/emacs-lisp/bytecomp-tests.el (bytecomp-test-loop): New.
(bytecomp-tests--test-cases): Add test cases.

; Remove various duplicated words

* doc/lispref/searching.texi (Extending Rx):
* doc/lispref/strings.texi (Creating Strings):
* doc/misc/modus-themes.org (Measure color contrast (DIY)):
* etc/NEWS:
* lisp/find-file.el (ff-find-other-file):
* lisp/gnus/gnus-group.el (gnus-group-suspend):
* lisp/progmodes/cc-langs.el (c-ml-string-any-closer-re):
* lisp/progmodes/flymake.el (flymake-list-only-diagnostics):
* lisp/progmodes/xref.el (xref--group-name-for-display):
* lisp/transient.el (transient-child, transient-files)
(transient-infix-value):
* src/alloc.c:
* src/regex-emacs.c (regex_compile):

Remove duplicate words in comments, documentation etc.

Use ambient lexical-binding value in ert-deftest body (bug#50738)

* lisp/emacs-lisp/ert.el (ert-deftest):
Evaluate the body of `ert-deftest` with the `lexical-binding` value of
the source file (or more precisely the value in force when the
definition is evaluated), which is what everyone expected, instead of
always using dynamic binding which is what they got until now.
* test/lisp/emacs-lisp/ert-tests.el
(ert-test-deftest-lexical-binding-t): New test.

Renege on anonymous &rest (bug#50268, bug#50720)

Allowing &rest without a variable name following turned out not to be
very useful, and it never worked properly.  Disallow it.

* lisp/emacs-lisp/bytecomp.el (byte-compile-check-lambda-list):
* src/eval.c (funcall_lambda):
Signal error for &rest without variable name.
* doc/lispref/functions.texi (Argument List): Adjust manual.
* etc/NEWS (file): Announce.
* test/src/eval-tests.el (eval-tests--bugs-24912-and-24913):
Extend test, also checking with and without lexical binding.
(eval-tests-accept-empty-optional-rest): Reduce to...
(eval-tests-accept-empty-optional): ...this, again checking
with and without lexical binding.

Clarify define-derived-mode docstring

* lisp/emacs-lisp/derived.el (define-derived-mode): Doc fixes;
correctly mention that the mode name is used in the mode line, clarify
argument types, and how the mode hook is named.  (Bug17567)

(derived-mode-hook-name, derived-mode-map-name)
(derived-mode-syntax-table-name, derived-mode-abbrev-table-name):
Clarify that argument is a symbol.

; Fix typo in ert.texi

Add myself as rcirc maintainer

* rcirc.el (rcirc-sentinel): Use process-status

* rcirc.texi (Using rcirc with bouncers): Remove confusing sentence

* rcirc.el (rcirc-reconnect): Use rcirc-reconnect-delay

* rcirc.el (rcirc-reconnect): Set rcirc-joined

* lisp/isearch.el (isearch-forward-regexp): Doc fix.  (Bug22483)

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

; Another minor improvement in ERT manual

* doc/misc/ert.texi (Running Tests Interactively): State the
function run by each key, per conventions.

Minor clarification of define-minor-mode :keymap argument

* lisp/emacs-lisp/easy-mmode.el (define-minor-mode): Minor doc fix;
clarify by saying that ":keymap" should be an "unquoted variable
name".  (Bug#25505)

; * doc/misc/ert.texi (Running Tests Interactively): Fix markup.

Buttonize functions in curved quotes in ERC

* lisp/erc/erc-button.el (erc-button-alist): Buttonize Emacs
functions in curved quotes.  (Bug#49964)

Extend and improve ERT manual section on running interactively

* doc/misc/ert.texi (Running Tests Interactively): Format commands in
a table, improve indexing, and add several missing
commands.  (Bug#41829)

; * lisp/mh-e/mh-scan.el: re-order variables to be actually alphabetical

Update mh-scan regexp to match mh-note-allowlisted

lisp/mh-e/mh-scan.el (mh-scan-good-msg-regexp, mh-scan-cmd-note-width):
Update to match new value ("A") of mh-note-allowlisted.

; Fix omission in recent CONTRIBUTE doc change.

; More instrumentation in autorevert-tests.el

Document the new paren-space indentation rule

* doc/emacs/programs.texi (Lisp Indent): Mention the new
paren-space indentation rule.

Some NEWS tagging

'xref-search-program'-related doc string fixes

* lisp/progmodes/xref.el (xref-search-program): Mention what this
variable controls.
(xref-matches-in-files): Mention the variables that controls it.

Document the 'string' thingatpt target

* doc/lispref/text.texi (Buffer Contents): Mention the 'string'
target.

Fix cursor motion around some Emoji sequences

* src/character.h: Add TAG_SPACE and CANCEL_TAG to known Unicode
characters values.
* src/composite.c (char_composable_p): Recognize TAG characters
relevant to Emoji as composable regardless of their General
Category.  (Bug#39799)

; Improve text about 'CONTRIBUTE'

* doc/emacs/trouble.texi (Contributing): Expand the
recently-changed text.

Use explicit man-page section in references

* lisp/dired-aux.el (dired-do-chmod): Use explicit man-page
section in the doc string.  This avoids inadvertently showing
the wrong man page, when several identically-named pages are
possible in different sections.  E.g., there's also chmod(2).

; Improve recently added documentation

* etc/NEWS:
* doc/lispref/tips.texi (Documentation Tips): Improve and clarify
recently-added documentation of man page references.

save-some-buffers-root doc string change

* lisp/files.el (save-some-buffers-root): Improve doc string.

Do some NEWS tagging

Document redisplay-skip-fontification-on-input

* doc/emacs/display.texi (Scrolling): Mention
redisplay-skip-fontification-on-input.

; * doc/misc/gnus.texi (Gnus Registry Setup): Fix missing parenthesis.

; tramp-auto-save-directory: set mode atomically when creating

* lisp/net/tramp.el (tramp-handle-make-auto-save-file-name):
Use with-file-modes around make-directory.  We can do this because
Tramp now honors default file modes in make-directory.

Add new user option ispell-help-timeout

* lisp/textmodes/ispell.el (ispell-help-timeout): New user option.
(ispell-help): Use it.

Set :type of suggest-key-bindings to natnum

* lisp/simple.el (suggest-key-bindings): Set :type to
natnum.  (Bug#15809)

New :type natnum for defcustom

* lisp/wid-edit.el (natnum): New widget type.  (Bug#15809)
* doc/lispref/customize.texi (Simple Types): Document it.

* lisp/dired-aux.el (dired-do-chmod): Simplify docstring.

Add support for man page hyperlinks in doc strings

* lisp/help-mode.el (help-man): New button type.
(help-xref-man-regexp): New const.
(help-make-xrefs): Use them to allow making man page buttons.
* doc/lispref/tips.texi (Documentation Tips): Document the new
hyperlink type.  (Bug#39215)

Fix some instances in the Emacs manual with misleading prefix syntax

* doc/emacs/msdos.texi (Windows Keyboard):
* doc/emacs/misc.texi (Editing Binary Files):
* doc/emacs/macos.texi (Mac / GNUstep Events):
* doc/emacs/kmacro.texi (Basic Keyboard Macro):
* doc/emacs/glossary.texi (Glossary):
* doc/emacs/fixit.texi (Spelling): Fix some instances where the
syntax seems to imply we're talking about a prefix key (bug#50792).

Make 'C-u C-x v v' handle unregistered files.

* lisp/vc/vc.el (vc-next-action): Make 'C-u C-x v v' handle
unregistered files (bug#50602).

Mention the 'r' key in ask-user-about-supersession-help

* lisp/userlock.el (ask-user-about-supersession-help): Replace "n, and
then M-x revert-buffer" in the help message with "r", which does the
same thing.  (Bug#50780)

Indent bodies of local function definitions properly in elisp-mode

* lisp/emacs-lisp/lisp-mode.el (lisp-indent-function): Check for
local defforms (`cl-flet' and `cl-labels').
(lisp--local-defform-body): New auxiliary function (bug#9622).

Clarify where to find CONTRIBUTE

* doc/emacs/trouble.texi (Contributing): Say that CONTRIBUTE is
found in the development version of Emacs.  (Bug#37414)

Use gzip to uncompess .xz files on MacOS

* lisp/jka-cmpr-hook.el (jka-compr-compression-info-list): Use
gzip to uncompess .xz files on MacOS (bug#29235).

Use `temporary-file-directory' in `with-existing-directory'

* lisp/subr.el (with-existing-directory): Use
`temporary-file-directory' over TMPDIR.

Fix alignment on font size change in tabulated-list-mode

* lisp/emacs-lisp/tabulated-list.el (tabulated-list-print-col): Fix
bug where the columns didn't align correctly when using
'text-scale-mode' to decrease the font size.  (Bug#48639)

Doc fix; cl-random is only pseudo-random

* lisp/emacs-lisp/cl-extra.el (cl-random): Doc fix; say it's only
pseudo-random.

checkdoc: Don't ask to disambiguate mode names

* lisp/emacs-lisp/checkdoc.el (checkdoc-this-string-valid-engine):
Don't ask to disambiguate mode names.  (Bug#4110)

Fix recently introduced bug in checkdoc

* lisp/emacs-lisp/checkdoc.el (checkdoc-in-abbreviation-p): Fix
recently introduced bug where some abbreviations weren't recognized.
* test/lisp/emacs-lisp/checkdoc-tests.el
(checkdoc-tests-in-abbrevation-p/basic-case): Extend test.

Revert change to use seq-random-elt in Tramp test

* test/lisp/net/tramp-tests.el (tramp-test44-asynchronous-requests):
Revert change to use seq-random-elt, as Tramp needs to be compatible
with Emacs 25, and the function was only added in 26.1.

checkdoc: Improve wide line warning to decrease false positives

* lisp/emacs-lisp/checkdoc.el (checkdoc-this-string-valid-engine):
Respect 'byte-compile-docstring-max-column' if it is set.  Allow the
first line to be three characters longer than the others to account
for indentation and the opening string character.

Use command substitution instead of raw keys in more places

* admin/authors.el (authors):
* lisp/abbrev.el (abbrev-suggest-show-report):
* lisp/calc/calc.el (calc-display-trail, calc):
* lisp/completion.el (completion-locate-db-error):
* lisp/dired-x.el (dired-extra-startup):
* lisp/emacs-lisp/package.el (package-install-selected-packages):
* lisp/emulation/viper.el (viper-mode):
* lisp/facemenu.el (list-colors-display):
* lisp/mail/emacsbug.el (report-emacs-bug-hook):
* lisp/mail/sendmail.el (mail):
* lisp/menu-bar.el (menu-bar-mode):
* lisp/org/org.el (org-revert-all-org-buffers):
* lisp/progmodes/antlr-mode.el (antlr-help-rules-intro)
(antlr-insert-makefile-rules):
* lisp/progmodes/gdb-mi.el (gdb--check-interpreter):
* lisp/progmodes/xscheme.el (xscheme-process-sentinel):
* lisp/ps-print.el (ps-font-info-database):
* lisp/recentf.el (recentf-edit-list, recentf-open-files):
* lisp/vc/ediff-util.el (ediff-suspend):
* lisp/vc/pcvs.el (cvs-mode):
* lisp/vc/vc-bzr.el (vc-bzr-dir-extra-headers): Use command
substitution.

Prefer seq-random-elt to nth+random

* lisp/emacs-lisp/seq.el (seq-random-elt): Autoload.
* lisp/avoid.el (mouse-avoidance-random-shape):
* lisp/epa-ks.el (epa-ks--query-url):
* lisp/erc/erc-networks.el (erc-server-select):
* lisp/gnus/gnus-fun.el (gnus--random-face-with-type)
(gnus-fun-ppm-change-string):
* lisp/net/soap-inspect.el (soap-sample-value-for-xs-simple-type):
* lisp/obsolete/landmark.el (landmark-random-move):
* lisp/play/mpuz.el (mpuz-build-random-perm):
* lisp/play/zone.el (zone-pgm-stress):
* lisp/vc/add-log.el (add-change-log-entry):
* test/lisp/net/tramp-tests.el
(tramp-test44-asynchronous-requests): Prefer seq-random-elt to
nth+random.

Fix auto-revert-test05-global-notify

* test/lisp/autorevert-tests.el (auto-revert-test05-global-notify):
Adapt test for killed buffer.

; * doc/misc/tramp.texi: Grammar fixes for process-connection-type

; * etc/NEWS: improve some recently added entries

Generate skin tone compositions from emoji-sequences.txt

Read skin tone modifier sequences from emoji-sequences.txt and add
them to the per-character composition rules derived from
emoji-zwj-sequences.txt, rather than adding them as lookback rules for
the skin tone modifiers.  This avoids an issue with the application of
such lookback rules.  See Bug#39799,
specifically
<https://lists.gnu.org/archive/html/bug-gnu-emacs/2021-09/msg01878.html>
for more details.

* admin/unidata/Makefile.in (zwj): Add emoji-sequences.txt as a dependency.
* admin/unidata/emoji-zwj.awk: Match RGI_Emoji_ZWJ_Sequence and
RGI_Emoji_Modifier_Sequence.  Remove manual addition of skin tone
composition rules with lookback.