icomplete-vertical simplest approach

* lisp/icomplete.el (icomplete--vertical-prospects) : New functions to
assert format and correct number of candidates in vertical format.
(icomplete--horizontal-prospects) : New functions to assert format and
correct number of candidates in horizontal format.
(icomplete-minibuffer-setup-hook) : Conditionally initialize the
variables for vertical format.
(icomplete-completions) : Simplify to separate some calculations
unneeded in vertical format. Moved part of its code to
icomplete--horizontal-prospects.

Update a failing lisp test

* test/lisp/emacs-lisp/lisp-tests.el (up-list-no-cross-string):
Update for recent "Don't signal scan-error" change.

Horizontal scrolling for mouse wheel with Shift modifier (bug#43568)

* lisp/mwheel.el (mouse-wheel-scroll-amount): Change 'shift' default value
from 5 to 'hscroll'.  Add new option "Scroll horizontally" for 'hscroll'.
(mwheel-scroll): Handle value 'hscroll' and call mwheel-scroll-left-function
or mwheel-scroll-right-function.

* doc/emacs/frames.texi (Mouse Commands): Update for horizontal scrolling
with Shift modifier.

Set mwheel default scroll value to 1 (bug#43380)

* lisp/mwheel.el (mouse-wheel-scroll-amount): Change default value 5 to 1
and shift default value from 1 to 5.
Default value is changed as discussed in etc/TODO.

* lisp/simple.el (goto-line-read-args): More relevant default line number.

Add skip condition for some dbus tests

* test/lisp/net/dbus-tests.el (dbus-test01-type-conversion)
(dbus-test01-basic-types): Add skip for hydra.nixos.org failures.
; Standardize license notice

Make set-process-buffer also update the process mark

* src/process.c (Fset_process_buffer): Update the process mark
(bug#43573).

Refactor process mark setting

* src/process.c (update_process_mark): Make into its own function.
(Fmake_process, Fmake_pipe_process, Fmake_serial_process)
(connect_network_socket): Use it.

Add sanity check for Gnus groups that belong to no topic

* lisp/gnus/gnus-topic.el (gnus-topic-change-level): Do not change
gnus-topic-alist when group is outside "topology" (bug#43582).

Fix last change in resize_mini_window

* src/xdisp.c (resize_mini_window): Prevent recentering the
mini-window once its start position is computed.  (Bug#43572)

Fix recent simple.el compilation warning

* lisp/simple.el (goto-line-relative): Suppress byte compilation
warning about goto-line.

Minor Tramp cleanup

* doc/misc/tramp.texi: Some stylistic changes.
(Frequently Asked Questions): Mention ProxyCommand and ProxyJump.

* lisp/net/tramp-sh.el (tramp-use-ssh-controlmaster-options):
Fix docstring.

Write Gnus active files with quotes around group names

* lisp/gnus/gnus-util.el (gnus-write-active-file): In case of group
names with spaces in them (see Bug#42823). Names are later read with
`read', so this should be quite robust.

New command goto-line-relative (bug#5042, bug#9917)

* lisp/simple.el (goto-line-read-args): New function with code from goto-line.
(goto-line): New arg RELATIVE.  Also use 'widen-automatically' to
leave all lines accessible in the narrowed buffer.
(goto-line-relative): New command.

* lisp/info.el (Info-mode-map): Remap 'goto-line' to 'goto-line-relative'.

* doc/emacs/basic.texi (Moving Point):
* doc/emacs/display.texi (Optional Mode Line): Mention goto-line-relative.

Remove TODO to convert files to unit tests

* test/lisp/textmodes/css-mode-tests.el:
* test/lisp/progmodes/ruby-mode-tests.el: Remove TODO to convert test
files into unit tests.  The files are still useful for debugging.
Ref: https://lists.gnu.org/r/emacs-devel/2020-09/msg01906.html

Convert some completion.el tests to ERT

* test/lisp/completion-tests.el: New file.
* lisp/completion.el: Move commented out tests to completion-tests.el.

Convert allout unit tests to ERT

* test/lisp/allout-tests.el: New file.
* lisp/allout.el (allout-run-unit-tests-on-load)
(allout-run-unit-tests): Remove.
(allout-tests-obliterate-variable)
(allout-tests-globally-unbound, allout-tests-globally-true)
(allout-tests-locally-true, allout-test-resumptions): Move to
allout-tests.el

* test/lisp/allout-widgets-tests.el: New file.
* lisp/allout-widgets.el (allout-widgets-run-unit-tests-on-load)
(allout-widgets-run-unit-tests): Remove.
(allout-test-range-overlaps): Move to allout-widgets-tests.el.

* lisp/repeat.el: Remove obsolete comment.

* test/lisp/net/dbus-tests.el (dbus-test01-basic-types): Adapt test.

; * lisp/emacs-lisp/lisp.el: rename parameter in last change

Don't signal scan-error when moving by sexp interactively

* lisp/emacs-lisp/lisp.el (forward-sexp, backward-sexp, forward-list)
(backward-list, down-list, up-list, mark-sexp, kill-sexp)
(backward-kill-sexp): Remove unsightly scan-error when running
interactively and no further movement by sexp can be made (bug#43489).

Allow the newline character in the character widget (Bug#15925)

* lisp/wid-edit.el (widget-specify-field): Extend check for adding the
boundary overlay.  Plus, a minor comment indentation fix.
(character widget): Tweak the valid-regexp to allow the newline
character.

* test/lisp/wid-edit-tests.el (widget-test-character-widget-value)
(widget-test-editable-field-widget-value): New tests (bug#15925).

Improve mark handling in gnus nnselect

* lisp/gnus/nnselect.el (numbers-by-group,
nnselect-request-update-info, nnselect-push-info): Handle all three
mark types ('tuple, 'range, 'list) and general speedups.

Handle escaped comment enders correctly in syntax.c, fixing bug #43558

This fixes forward-comment, scan-lists, and parse-partial-sexp.

* src/syntax.c (forw_comment): Detect and skip an escaped comment ender
(e.g. \*/ in C) when comment-end-can-be-escaped is non-nil.

Run gnus-parse-headers-hook when retrieving nnselect headers

* lisp/gnus/nnselect.el (nnselect-retrieve-headers): Run the
gnus-parse-headers-hook when retrieving headers in nnselect, just like
in a real group.

test/src/xdisp-tests.el: New file

Use gnus-extra-headers in nnselect header parsing

* lisp/gnus/nnselect.el (nnselect-retrieve-headers): Bind
nnmail-extra-headers to gnus-extra-headers before parsing retrieved
headers.

Ensure that the game directory exists before trying to write to it

* lisp/play/gamegrid.el (gamegrid-add-score-insecure): Make the
directory if it doesn't exist (bug#37836).

Make delete-pair only delete pairs that are part of insert-pair-alist

* lisp/emacs-lisp/lisp.el (delete-pair): Only delete pairs that
are part of `insert-pair-alist' (bug#4136).

Fix off-by-one error in eldoc--handle-docs

* lisp/emacs-lisp/eldoc.el (eldoc--handle-docs): We have one extra
line to use if we don't show the truncation message (bug#43543).

Speed up shr-insert slightly

* lisp/net/shr.el (shr-insert): Speed up regularising spaces --
the vast majority of the spaces are already OK, so transforming
" " to " " just takes time.

Fix filling problem in shr due to zero-width id tagging

* lisp/net/shr.el (shr-descend): Fix problem with filling lines
that have a zero-width ID tag at the start.

Fix cursor display in mini-window under icomplete-mode

* src/xdisp.c (resize_mini_window): When we show only part of the
mini-window's contents, make sure the window-start position is at
the beginning of a screen line.  (Bug#43519)

Fix font-panel on NS (bug#43480)

* lisp/term/ns-win.el (ns-respond-to-change-font): Set the font using
customize.

Remove broken compat code from EDE

* lisp/cedet/ede/detect.el: Remove broken Emacs 24.1 compat code.
This would never have worked, since the fallback library is missing.

; * test/lisp/progmodes/ps-mode-tests.el: Add missing backslash

Fix shellcheck warning

* build-aux/update-subdirs: Fix issue indicated by the shellcheck
linter (warning SC2046).

Support shellcheck in compilation-mode

* lisp/progmodes/compile.el
(compilation-error-regexp-alist-alist): Add shellcheck regexp.
* test/lisp/progmodes/compile-tests.el
(compile-tests--test-regexps-data):
(compile-test-error-regexps): Add test for shellcheck.
* etc/compilation.txt: Add shellcheck example.
* etc/NEWS: Announce the change.

foo

Remove Emacs 23 compat code from cedet

* lisp/cedet/ede/proj-elisp.el (project-compile-target):
* lisp/cedet/semantic/bovine/grammar.el (bovine-grammar-expand-form):
* lisp/cedet/semantic/ede-grammar.el (project-compile-target):
Remove Emacs 23 compat code.

Remove some Emacs 20 compat code

* lisp/apropos.el (apropos-local-value):
* lisp/progmodes/antlr-mode.el (antlr-mode-menu):
* lisp/progmodes/idlwave.el (idlwave-attach-classes):
* lisp/textmodes/artist.el (artist-replace-chars): Remove Emacs 20
compat code.

Remove some unnecessary compat code

* test/lisp/emacs-lisp/ert-x-tests.el (ert-test-describe-test):
* test/lisp/wdired-tests.el (wdired-test-unfinished-edit-01):
Remove unnecessary compat code; these tests should never need to run
on older versions of Emacs.

Fix thinko in dired-change-marks

* lisp/dired.el (dired-change-marks): Fix my previous broken attempt
to declare advertised-calling-convention.

Move several completions from eshell to pcomplete (Bug#10585)

* lisp/eshell/em-unix.el (eshell-complete-hostname)
(pcomplete/ftp, pcomplete/ncftp, pcomplete/ping)
(pcomplete/rlogin, pcomplete/telnet, pcomplete/rsh):
Move from here...
* lisp/pcmpl-unix.el (pcmpl-unix-complete-hostname)
(pcomplete/ftp, pcomplete/ncftp, pcomplete/ping)
(pcomplete/rlogin, pcomplete/telnet, pcomplete/rsh):
...to here.  Make old names into aliases.

* lisp/eshell/esh-util.el (eshell-hosts-file)
(eshell-host-names, eshell-host-timestamp)
(eshell-read-hosts-file, eshell-read-hosts)
(eshell-read-host-names): Move from here...
* lisp/pcomplete.el (pcomplete-hosts-file)
(pcomplete--host-name-cache)
(pcomplete--host-name-cache-timestamp)
(pcomplete-read-hosts-file, pcomplete-read-hosts)
(pcomplete-read-host-names): ...to here.  Make old names into
aliases.

* lisp/eshell/em-unix.el (eshell-complete-host-reference): Update
caller.

Move pcomplete/bcc32 from eshell to pcmpl-x (Bug#10585)

* lisp/eshell/em-xtra.el (pcomplete/bcc32, pcomplete/bcc): Move
from here...
* lisp/pcmpl-x.el (pcomplete/bcc32, pcomplete/bcc): ...to here.

Convert a manual test for nxml-mode to unit test

* test/manual/indent/nxml.xml: Delete file.
* test/lisp/nxml/nxml-mode-tests.el
(nxml-mode-test-comment-bug-17264): New test based on deleted file.

Convert manual indent test for ruby-mode into unit test

* test/manual/indent/ruby.rb: Move from here...
* test/lisp/progmodes/ruby-mode-resources/ruby.rb: ...to here.

* test/lisp/progmodes/ruby-mode-tests.el
(ruby-mode-tests-data-dir): New variable.
(ruby--indent/converted-from-manual-test): New test.

Convert manual indent test for scheme-mode into unit test

* test/manual/indent/scheme.scm: Delete file.
* test/lisp/progmodes/scheme-tests.el: New file with unit test for
scheme-mode based on deleted file.

Convert manual indent test for ps-mode into unit test

* test/manual/indent/ps-mode.ps: Delete file.
* test/lisp/progmodes/ps-mode-tests.el (ps-mode-test-indent):
New unit test based on deleted file.

(json-encode-string): Strip properties to fix bug#43549

Fix problem with ede-mode bugging out on non-existent files

* lisp/cedet/ede/emacs.el: Check whether the directory exists in
ede-emacs-find-in-directories before using it (bug#43547).

Fix recent change to window-max-chars-per-line

* lisp/window.el (window-max-chars-per-line):
line-number-display-width can return a floating point number, but
we want an integer (bug#43548).

Doc string fix for gnus-summary-hide-thread

* lisp/gnus/gnus-sum.el (gnus-summary-hide-thread): Remove text
from doc string apparently copy-pasted from the function above.

Remove a misleading message in gnus-summary-hide-thread

* lisp/gnus/gnus-sum.el (gnus-summary-hide-thread):
Jump past invisible thread instead of begging off with an out-of-band
diagnostic (bug#43538).

Convert manual indent test for opascal-mode into unit test

* test/manual/indent/opascal.pas: Delete file.
* test/lisp/progmodes/opascal-tests.el: New file with unit test for
oposcal-mode based on deleted file.

Convert manual indent test for lisp-mode into unit test

* test/manual/indent/lisp.lisp: Delete file.
* test/lisp/emacs-lisp/lisp-mode-tests.el (lisp-indent-defun):
New unit test based on deleted file.

Convert manual indent test for elisp-mode into unit test

* test/manual/indent/elisp.el: Delete file.
* test/lisp/progmodes/elisp-mode-tests.el (elisp-indent-basic):
New unit test based on deleted file.

; * test/lisp/textmodes/css-mode-tests.el: Add TODO.

Fix check in `newline' for blank lines

* lisp/simple.el (newline): Clarify doc string and fix check for
blank lines (bug#13810).

Fix line width in M-x term on -nw with line numbers

* lisp/window.el (window-max-chars-per-line): Make the line width
more correct in the presence of display-line-numbers-mode (bug#34513).

Add more isearch submatch faces

* doc/emacs/search.texi (Search Customizations): Adjust
documentation.
* lisp/isearch.el (search-highlight-submatches): Be a boolean.
(isearch-group-{6-9}): New faces.
(isearch-highlight): Use the variable as a boolean.

; Fix more trivial typos

Tweak how Man selects the previous window on failure

* lisp/man.el (Man-bgproc-sentinel): Ensure that we select the
correct previous window (bug#38164).

; Fix typos

Allow disabling the verbose eldoc truncation message

* doc/emacs/programs.texi (Lisp Doc): Document it.

* lisp/emacs-lisp/eldoc.el (eldoc-display-truncation-message): New
variable (bug#43543).
(eldoc--handle-docs): Use it.

Fix default value in checkboxes in eww

* lisp/net/eww.el (eww-submit): Checked checkboxes need a default
value (bug#43542).

Copyright-paperwork-exempt: yes

Add D-Bus tests

* doc/misc/dbus.texi (Type Conversion): Precise basic type values.

* lisp/net/dbus.el (dbus-register-property): Send signal directly.

* src/dbusbind.c (xd_signature): Accept non-nil objects for
DBUS_TYPE_BOOLEAN.

* test/lisp/net/dbus-tests.el (dbus-test01-basic-types)
(dbus-test01-compound-types): New tests.

; * lisp/emacs-lisp/syntax.el (syntax-propertize-function): Doc fix.

Merge from origin/emacs-27

02a31c9632 (origin/emacs-27) Minor improvement in the ELisp manual's ...
f750def778 Mention in PROBLEMS the problems with fonts and Uniscribe
082d8a21b1 Minor copyedits in 'line-height' documentation
5b23393bcc ; * src/frame.c (syms_of_frame) <make-pointer-invisible>: ...

; Merge from origin/emacs-27

The following commit was skipped:

c151797da9 * doc/misc/eww.texi: Document the `w' key's double function

Merge from origin/emacs-27

df04f3e755 Fix a rare segfault in syntax.c
fd1fe1e1ec Add doc to syntax-propertize-function saying it must do a ...
fcd599bbea Minor copyedits of doc of 'with-silent-modifications'
759399cdb1 Improve documentation of 'max-mini-window-height'
3223302aa2 Use modern constant names for the NS pasteboard
985703d380 Fix doc string of 'toggle-menu-bar-mode-from-frame'
184a4977c7 Make vc-bzr tests work with brz 3.1 (bug#43314)

# Conflicts:
# lisp/emacs-lisp/syntax.el
# src/syntax.c

; Merge from origin/emacs-27

The following commit was skipped:

03093baf90 diff-no-select doc string clarification

Merge from origin/emacs-27

694acda5f2 Fix compilation on TERMINFO platforms with GCC 10
f3373901e5 Fix the font-lock-debug-fontify NEWS entry

# Conflicts:
# etc/NEWS

Fix infloop when folding difficult headers in Message

* lisp/mail/rfc2047.el (rfc2047-fold-field): Return the end point.
* lisp/gnus/message.el (message--fold-long-headers): Use that to
reliably achieve progress.

Allow not selecting messages in Gnus before resending

* lisp/gnus/gnus-msg.el (gnus-summary-resend-message): Allow not
selecting messages.  This is faster when resending huge spam messages.

Make xterm-mouse-event check whether the click event is valid

* lisp/xt-mouse.el (xterm-mouse-event): Defensively check against
a situation that shouldn't happen (but does) (bug#17378).

C++ Mode: Modernize the fontification of "using"

Since "using" is now used in three distinct ways in C++, write a special
function to handle these rather than attempting to adapt the old regular
expressions.

* lisp/progmodes/cc-fonts.el (c-font-lock-declarators): Amend to allow the
argument TYPES to be a face.  This face is given to the declarator being
processed.
(c-font-lock-single-decl): Make an argument to c-font-lock-declarators nil or
t, not merely nil or non-nil.
(c-complex-decl-matchers): Include c-font-lock-c++-using in the C++ value of
this variable.
(c-font-lock-c++-using): New function.

* lisp/progmodes/cc-langs.el (c-using-kwds, c-using-key): New lang
consts/vars.
(c-modifier-kwds): Remove "using" from the C++ value.

Restore the previous minimum-width specs in the line/column mode lines

* lisp/bindings.el (mode-line-position-line-format)
(mode-line-position-column-format)
(mode-line-position-column-line-format, mode-line-position):
Restore the previous min-width specs (bug#28648).

Make (let ((:key 'foo)) :key) signal an error in lexical elisp, too

* src/lread.c (intern_sym): Mark keywords as special (bug#38872).

Fix typo in dbus.texi

* doc/misc/dbus.texi (Type Conversion): Remove spurious { character.

Make D-Bus properties type safe

* doc/misc/dbus.texi (Properties and Annotations):
Precise dbus-get-property and dbus-set-property.
(Type Conversion): Explain :byte and :boolean type conversion.
(Errors and Events): dbus-ignore-errors returns nil when there is
a D-Bus error.  Remove dbus-show-dbus-errors.

* etc/NEWS: Some D-Bus relevant changes.

* lisp/net/dbus.el (dbus-show-dbus-errors): Remove.
(dbus-ignore-errors): Replay implamentation without that variable.
(dbus-check-arguments): New defun.
(dbus-list-activatable-names, dbus-list-names)
(dbus-list-queued-owners, dbus-get-name-owner, dbus-introspect)
(dbus-get-all-properties, dbus-get-all-managed-objects): Don't debug.
(dbus-get-property, dbus-set-property): Propagate errors.
(dbus-register-property): Check for valid VALUE.
(dbus-property-handler): Simplify.

* src/dbusbind.c (Fdbus_message_internal): Adapt docstring.
Handle DBUS_MESSAGE_TYPE_INVALID.

* test/lisp/net/dbus-tests.el (dbus-show-dbus-errors): Don't declare.
(dbus-test06-register-property)
(dbus-test06-register-property-emits-signal): Adapt tests.

Minor improvement in the ELisp manual's Introduction

* doc/lispref/intro.texi (Printing Notation): Clarify what
"execute code" means in this context.  (Bug#43463)

Improve documentation of a recently-added feature

* lisp/isearch.el (search-highlight-submatches): Improve the doc
string.

* doc/emacs/search.texi (Search Customizations): Improve the
documentation of 'search-highlight-submatches'.

* etc/NEWS: Minor change of the entry for
'search-highlight-submatches'.

Highlight regexp sub-expressions

* doc/emacs/search.texi (Search Customizations): Document it.

* lisp/isearch.el (search-highlight-submatches): New variable.
(isearch-group-1, isearch-group-2, isearch-group-3)
(isearch-group-4, isearch-group-5): New faces.
(isearch-highlight): Use them.
(isearch-dehighlight): Ditto (bug#6227).

Tweak dired warning about "wildcard" characters

* lisp/dired-aux.el (dired-isolated-string-re): Use explicitly
numbered groups.
(dired--star-or-qmark-p): Add START parameter.  Make sure to
return the first isolated match.
(dired--need-confirm-positions, dired--mark-positions)
(dired--highlight-no-subst-chars, dired--no-subst-explain)
(dired--no-subst-ask, dired--no-subst-confirm): New functions.
(dired-do-shell-command): Use them (bug#28969, bug#35564).

* test/lisp/dired-aux-tests.el (dired-test-bug27496): Adapt to
new prompt.
(dired-test--check-highlighting): New test helper.
(dired-test-highlight-metachar): New tests.

Mention in PROBLEMS the problems with fonts and Uniscribe

* etc/PROBLEMS: Mention font-related problems with Uniscribe on
MS-Windows.  (Bug#39340)

Fix bug out when indenting inserted images in shr

* lisp/net/shr.el (shr-fill-line): We may not have a
shr-indentation text property here.  In that case, default to the
dynamically bound value.

Remove code checked in to lread.c by mistake

* src/lread.c (intern_sym): Remove code under development
inadvertently checked in.

Terminate `comint-password-function' tests

* test/lisp/comint-tests.el (comint-test-no-password-function)
(comint-test-password-function-with-value)
(comint-test-password-function-with-nil): refactor
(comint-tests/test-password-function): actually test
`comint-send-invisible' and inhibit inadvertent interactive query
(bug#38825).

Tweak a hash table print test

Fix printing of hash tables with removed elements

* src/print.c (print_vectorlike): Keep track of the actual number
of elements printed rather than attempting to use hash bucket
indices (bug#38892).

Don't have vc-git-stash-list bug out on the .git directory

* lisp/vc/vc-git.el (vc-git-stash-list): Don't bug out when
running on the .git directory itself (bug#39285).

; * doc/lispref/processes.texi (Synchronous Processes): Fix typo.

Add new tab command `C-x t C-r'

* doc/emacs/misc.texi (FFAP): Document new commands (bug#43503).

* lisp/ffap.el (ffap-read-only-other-tab): New command.

* lisp/tab-bar.el (find-file-read-only-other-tab): New command and
keystroke.

Fix slow python-mode inserts when there's a lot of strings

* lisp/progmodes/python.el (python-info-docstring-p): Doing more
than two repetitions here doesn't improve indentation (bug#39598).

New command: revert-buffer-with-fine-grain

* doc/emacs/files.texi (Reverting): Document the new command and the
new variable.

* etc/NEWS: Mention the new command and the new variable.

* lisp/files.el (revert-buffer-with-fine-grain): New command.  Revert
a buffer trying to be non-destructive, by using replace-buffer-contents.
(revert-buffer-insert-file-contents-delicately): New function, alternative
to revert-buffer-insert-file-contents-function--default-function.
(revert-buffer-with-fine-grain-max-seconds): New variable.  Passed as
argument MAX-SECS of replace-buffer-contents.

* test/lisp/files-tests.el (files-tests-lao files-tests-tzu): Helper
variables, taken from diffutils manual, to test reverting a buffer.
(files-tests-revert-buffer)
(files-tests-revert-buffer-with-fine-grain): New tests (bug#18).

Make a gud error message more informative

* lisp/progmodes/gud.el (gud-jdb-marker-filter): Make the error
message more informative (bug#1282).

Extend process-lines to allow exit status handling

* subr.el (process-lines-handling-status): Extension of the old
process-lines, with more flexible handling of the exit status.
(process-lines): Old API implemented using the new function.
(process-lines-ignore-status): Another use of the new function -
return the output lines regardless of the exit status (bug#1321).

Minor copyedits in 'line-height' documentation

* doc/lispref/display.texi (Line Height): Describe the possible
values of the 'line-height' property in a more consistent format.

Add a new variable 'gnus-global-groups'

* doc/misc/gnus.texi (HTML): Document it.

* lisp/gnus/gnus-art.el (gnus-global-groups): New variable.
(gnus-block-private-groups): Use it.

Honor make-pointer-invisible on macOS

* src/nsterm.m ([EmacsView keyDown:]): Call
[NSCursor setHiddenUntilMouseMoves:] with the correct argument, depending on
variable make-pointer-invisible.